Тип жилого дома в два этажа с мезонином и простым по композиции фасадом получил широкое распространение в Великом Устюге, особенно в начале XIX века. Применялся обычно состоятельными горожанами при постройке богатых особняков. Не исключено, что строители придерживались типовых проектов того времени с разрешением делать те или иные отступления по желанию хозяев.
Дом, о котором пойдет речь, находится в первом квартале первой части города, считая от Земляного моста, на Советском проспекте под номером 133. Первое упоминание о нем относится к 1844 году. Записано: «Дом двухэтажный, с мезонином, и принадлежит купцу Александру Захаровичу Седельникову». Поэтому можно считать, что лостроен он в первой четверти XIX века. В «Вологодских губернских ведомостях» за 1850 год было опубликовано объявление о продаже этого дома. А в 1869 году в окладной книге он зарегистрирован уже за новым владельцем — лальским второй гильдии купцом П. А. Азовым. В окладной книге 1871 года написано: «Дом каменный двухэтажный с каменным двухэтажным флигелем, с мезонином, с каменною лавкою, двухэтажным деревянным рабочим пристроем во дворе, принадлежащий купцу второй гильдии Петру Алексеевичу Азову».
Дом каменный двухэтажный с мезонином (ныне здалие центральной районной библиотеки) занимал сам хозяин. Двухэтажный каменный флигель (ныне общежитие ГПТУ №3 по Советскому проспекту, 131) занимали родственники и частично контора мастерской по обработке щетины. Мастерская по обработке щетины находилась в деревянном пристрое. Из-за большой пожароопасности в 1872 году деревянное помещение мастерской сломали, а на его месте построили каменное здание, сохранившееся до наших дней. Здание каменной лавки, стоящее рядом с жилым домом в сторону Земляного моста, тоже сохранилось.
В 1896 году после смерти П. А. Азова дом по завещанию переходит во владение его старшего сына Алексея Петровича Азова, а двухэтажный каменный флигель становится собственностью вдовы Анны Дмитриевны Азовой и двух других сыновей Дмитрия и Ивана.
После смерти отца старший наследник А. П. Азов, человек энергичный и предприимчивый, начинает развертывать хозяйство с чисто купеческим размахом. Он расширяет щетинное производство, одновременно вкладывает капиталы в организацию производства фанеры, участвует в постройке завода «Новатор». Богатое состояние израсходовал на благоустройство жилья. Делал он это с невиданным в городе шиком, дабы затмить своих соседей-купцов. Для оклейки стен в комнатах Алексей Азов заказывал обои одной из французских фирм. Лепные работы на карнизах и потолках выполняли лучшие дворцовые мастера Петербурга. Богатая мебель создавала в комнатах изящество и особый уют. Это было на втором этаже дома. А первый этаж с начала XX века и вплоть до Великой Октябрьской революции занимала контора отделения Российского торгового банка.
18 октября 1917 года А. П. Азов умер. В 1919 году в его доме поместился Северо-Двинский губернский военный комиссариат. Двухэтажный каменный флигель в это время заняло управление коменданта города Великий Устюг, а пристрой к флигелю на дворе приспособили под казарму для комендантского военного подразделения.
В начале 1923 года губернский военкомат переехал в другое здание, а освободившийся дом передали в ведение губернского отдела народного образования. Некоторое время в нем помещалась школа, а затем — центральная районная библиотека.
Флигель и каменный пристрой использовал в годы НЭПа предприниматель Гороховский — открыл щетино-сортировочное производство. В феврале 1923 года Северо-Двинская контора Госторга в обоих зданиях (флигеле и пристрое) разместила 2-ю щетиносортировочную фабрику. Находившиеся же во дворе деревянный дом и склад в декабре 1928 года сгорели.