«В 1690 году вблизи Успенского собора по указанию архиепископа Александра построен архиерейский дом», — читаем в «Летописи Устюжской» А. А. Титова.
Это здание было построено на месте прежних деревянных домов ростовских митрополитов. Располагалось оно против собора. По центру находились «святые врата от собору на архиерейский двор». Следы этих ворот видны и поныне в стене, выходящей к собору.
Первоначально в доме помещались архиерейский казенный приказ, казначей архиерейского дома и казенные кладовые.
Немного позднее, около 1693 года, рядом было построено и второе здание, расположенное по Успенской улице. На нижнем этаже его разместились две хлебные палаты (комнаты) и кладовая, на втором этаже — три теплые палаты и двои сени.
До 1903 года эти здания стояли отдельно одно от другого. Но со временем потребность заставила в промежутке между ними построить еще одно двухэтажное каменное здание. Работы выполнялись в летние строительные сезоны 1903 и 1904 годов. Границы построек хорошо видны и ныне. Одновременно здание по современному Советскому проспекту капитально отремонтировали, размеры окон увеличили.
Главным же сооружением архиерейского дома явилось здание, построенное на набережной реки Сухоны, так называемые Владычные палаты, где находилась приемная устюжских епископов под названием Крестовая келья. К юго-восточной части этого здания в 1823 году была пристроена Спасская церковь. С северо-запада от него стояла Алексеевская церковь, являвшаяся домовой архиерейской церковью. Все архиерейское подворье обносилось кирпичной оградой.
Частые пожары в городе 24 июня 1715 года, 1 октября 1776 года, а особенно 30 мая 1782 года — не прошли мимо этих зданий. В «Летописи Устюжской» А. А. Титова записано: «...в доме архиерейском, в церкви и покоях во всех, все выгорело». Особо сильным явился пожар 1782 года, который уничтожил весь комплекс архиерейских палат. Долгие годы на том месте лежали обгорелые развалины, о которых записано в летописи: «...уничтоженный архиерейский дом пришел в ветхость, стены, рассевшись, нависли и грозят великой опасностью для проходящих и для проезда».
Наконец все это место было отдано в распоряжение города. После восстановительного ремонта и реконструкции, на которые деньги давал купец А. П. Воробьев, в бывшем архиерейском доме в 1821 году разместились присутственные места, судебное присутствие, магистрат, сиротский суд, городская дума, общественный заемный банк. В здании, находящемся около собора, заняла место почтовая контора, а в 1874 году здесь открылась телеграфная станция. В здании, расположенном по Успенской улице, поместилась городская полиция.
В доме на Набережной улице, где в прошлом веке были присутственные места, с начала XX века разместились городские учреждения, там же устроили и солдатскую казарму.
После Великой Октябрьской социалистической революции бывшее архиерейское подворье стало служить иным целям. Здание рядом с собором занял аптечный склад. В Алексеевской церкви с 1923 по 1927 год находился губернский архив. В здании на набережной сначала помещались различные службы, а с 1925 года — Дом крестьянина, при котором в помещении Спасской церкви с 1919 года было правление пожарного общества, а затем — клуб, имевший отдельный вход с набережной.
С переводом аптечного склада в другое помещение эта часть здания была отремонтирована и переоборудована под столовую Дома крестьянина. Проект разрабатывал Г. В. Павлушков, работы выполнялись в 1929 году, а с 1930 года стала действовать столовая, занимавшая первый этаж. Второй этаж отдали под комнаты Дома крестьянина. Часть здания по Советскому проспекту кратковременно занималась различным-и учреждениями.
Таким образом, большая часть этого комплекса зданий отошла в распоряжение Дома крестьянина, основное здание которого еще в 1927 году по проекту Плюс-нина было отремонтировано и перепланировано. В указанных помещениях Дом крестьянина, переименованный позднее в Дом колхозника, находился до 1941 года.
С начала Великой Отечественной войны здесь разместился военный госпиталь, а в послевоенные годы — больница для инвалидов войны, которая и занимает все три здания комплекса до настоящего времени.