После утверждения в 1784 году первого плана Великого Устюга большое внимание было обращено на строительство в нем каменных жилых домов. К 1790 году их уже насчитывалось 17. Наиболее бурное строительство каменных домов начинается после утверждения плана 1804 года. В основном эти постройки и сохранились до наших дней.
Неизвестно, в каком году было поставлено первое строение на месте нынешнего Дома культуры, но в 1844 году здесь уже находился казенный двухэтажный дом, принадлежавший купцу Григорию Васильевичу Усову. Позднее он был продан купчихе Ольге Жилиной и в документах 1867 года числился на ее имя. После смерти Ольги Жилиной дом с 1871 года перешел по наследству трем ее сыновьям.
Вскоре наследники Жилиной начинают постройку нового двухэтажного дома, располагая его от угла по Торговому переулку (Красный переулок) впритык с имеющимся на Успенской улице (Советский проспект). В мае 1872 года застройщики обратились в городскую думу за разрешением изменить проект с тем, чтобы построить третий этаж. Такое разрешение им дали. После завершения постройки часть дома, обращенная на Успенскую улицу и частично на Торговый переулок, получила двухэтажное исполнение, а другая, большая часть, выходящая на Торговый переулок, стала трехэтажной.
Автор проекта здания не установлен. Но, учитывая, что в Великом Устюге в то время жили архитектор Авринский и чертежный мастер Николай Черепанов, можно предположить, что автором был один из них.
В новом доме Жилиных весь третий этаж занимала гостиница «Россия». На втором этаже вначале располагались квартиры владельцев, а после некоторой перестройки в той части, что выходила на Торговый (Красный) переулок, с декабря 1881 года разместился клуб. На первом этаже находились различные магазины и кладовые. Дом в то время считался самым большим жилым домом в Великом Устюге и вызывал восхищение многих горожан. Но 1 января 1882 года в 7 часов вечера жителей города встревожил набатный колокольный звон. Горел дом с надворными постройками Матвея Васильева, стоявший в Торговом переулке рядом с домом Жилиных. Вскоре огонь перекинулся и на него. Большая часть обширного строения Жилиных сгорела. Потребовался значительный ремонт.
К 1894 году дом братья восстановили в первоначальном виде, и снова в нем разместился клуб, гостиница и квартиры владельцев. Однако и на этот раз он простоял недолго.
Из воспоминаний старожилов, из архивных документов известно, что 1901 год принес городу немало несчастий.
1 октября 1901 года из-за халатности хозяев крупного дома О. Я. Охлопкова вспыхнул пожар, который быстро распространился на соседние постройки и уничтожил весь квартал между современным Красным и Октябрьским переулками (в прошлом — Торговый и Архангельский). При пожаре сгорело 12 жилых домов, в том числе 4 каменных, много магазинов и надворных построек. Не уцелел и дом Жилиных.
При ремонте после пожара третий этаж убрали. Дом восстановили, но уже в двухэтажном исполнении. На втором этаже с 1903 года стал действовать так называемый Всесословный клуб, а первый, как и прежде, заняли магазины и кладовые.
Название «Всесословный клуб» сохранялось до Октябрьской революции. При нем существовала любительская театральная труппа, которая успешно выступала на клубной сцене. Спектакли привлекали большое число зрителей, тепло встречались публикой. Кроме любительского театра в клубе работали большой любительский хор, симфонический и духовой оркестры.
В 1907 году со стороны двора вплотную к южной стене дома была сделана двухэтажная каменная пристройка. В ней в 1909 году купец Шишкарев открыл кпиотеатр «Модерн», успешно работавший до 1912 года. Но зрительный зал был рассчитан всего на 150 мест. Скученность и несоблюдение правил противопожарной безопасности привели к тому, что на одном из сеансов возник пожар и кинотеатр «Модерн» сгорел. Больше он не восстанавливался и был перенесен в другое здание. А поврежденные пожаром помещения отремонтировали и использовали для клубных нужд.
После Великой Октябрьской революции в этом помещении сначала расположились политехнические курсы, а после них место занял клуб имени Карла Маркса. В период гражданской войны и обороны Советского Севера от интервентов и белогвардейцев клуб коммунистов сыграл большую роль в политическом воспитании бойцов, уходящих на фронт, и населения Великого Устюга, особенно молодежи.
В 1922 году клуб сменил название на Дом просвещения имени Некрасова, но вскоре стал называться — клуб ГСПС. С ноября 1925 года назывался проще — клуб объединенных организаций. Прошло немного времени, как у него появилось новое название — клуб труда и отдыха. Но дело не в смене названий. Важно то, что клуб жил бурной, творческой жизнью. Работали различные кружки художественной самодеятельности под руководством таких энтузиастов, как Б. Кузьмин, Г. Густель, В. Попов, О. Кузьмина, В. Демидов. Русский народный хор под руководством Колотиловой впервые выступил на сцене этого клуба. Старшее поколение устюжан вспоминает обо всех энтузиастах клубной работы с большой душевной теплотой и благодарностью.
К сожалению, здание было почти не приспособлено для клубной работы. Оно требовало ремонта и реконструкции. В 1927—1928 годах она была выполнена по проекту техника Бубякина. Помещения первого этажа, занятые кладовыми и магазинами, освободили и большинство приспособили для работы кружков. Переделали парадный вход и гардеробную, изменили фойе и другие помещения. Клуб стал пригодным для работы в нем и городского театра, не имевшего своего помещения. В сезоны 1928—1931 годов здесь работали труппы под руководством Азрова и Летковского.
С 1933 года клуб получил новое название — имени Горького, но его помещения по-прежнему использовались городским театром. В одной из его трупп работала Т. Еремеева, ставшая народной артисткой СССР. Многие годы отдали театру известный устюжанам художник-декоратор Е. П. Шильниковский и его помощники Серафим Белых и Зинаида Добрынина. Позднее С. Белых работал главным художником Архангельского областного драматического театра и был удостоен звания заслуженного деятеля искусств РСФСР. Е. П. Шильниковский после ухода из театра был художественным руководителем предприятия «Северная чернь», также удостоен звания заслуженного деятеля искусств РСФСР.
После Великой Отечественной войны ликвидировали городской театр, а клуб реорганизовали в городской Дом культуры. Но ветхость помещения, малая площадь затрудняли работу, поэтому с 1962 по ноябрь 1964 года пришлось сделать капитальную перестройку здания. Ее выполнил коллектив ремстройуправления по проекту, составленному проектным бюро горисполкома.
Здание при этом претерпело значительные изменения. Высота его увеличилась более чем на метр. Полностью изменены и расширены зрительный зал, фойе, сцена. Перенесен главный вход, перестроены первый этаж и боковое здание во дворе, где ныне помещается городская детская музыкальная школа. Все это создало нормальные условия для работы кружков и полноценного отдыха населения.