Крестовыми назывались домовые храмы русских архиереев. Устраивались они обычно в архиерейских палатах, где для них выделялись особые комнаты с иконостасом и небольшим алтарём с престолом за ним. Почему эти домовые церкви назывались крестовыми? Чтобы ответить на этот вопрос, нужно обратиться к историческим письменным памятникам. Уже в XVI веке появляется выражение «служить у крестов», которое фигурирует вплоть до XVIII века, относясь к домовым царским или боярским храмам. Здесь, в домах русских государей или знатных русских семейств, в особых моленных комнатах веками накапливались различные святыни, как-то: в виде частиц от святых мощей, почитаемых икон и других святынь, чаще всего привезённых с православного Востока и из Святой Земли. Святыни чаще всего благоговейно вкладывались в особые кресты-мощевики, ставшие обязательным предметом этих молельных комнат или домовых храмов. Присутствие этих крестов со святынею, как главных атрибутов домашних церквей, и придало им название крестовых, которое со временем закрепилось только за архиерейскими домовыми храмами.
Появление Крестового храма в Астрахани можно отнести ко времени учреждения здесь самостоятельной епархии в 1602 году. При первом Астраханском архиепископе Феодосии были выстроены рядом с Успенским собором в кремле деревянные архиерейские палаты. Возможно, что в этих палатах была устроена и домовая архиерейская церковь. Первое достоверное упоминание о ней относится ко времени митрополита Иосифа (1666 – 1671 гг.). В известной летописи Петра Золотарёва, повествующей о страдании и мученической кончине святителя Иосифа, говорится, что когда в ноябре 1670 года прибыла к митрополиту царская милостивая грамота, призывавшая мятежников разинцев к прекращению бунта, то он, митрополит, благословив сделать с неё три списка, один повелел положить «в домовой церкви у Спаса». То есть это известие подтверждает существование в это время в архиерейских палатах домовой крестовой церкви в честь Нерукотворного образа Спасителя. Известно также, что при митрополите Иосифе были выстроены каменные одноэтажные архиерейские палаты. Вот как описывает их голландский путешественник Корнелий де Бруин, побывавший в Астрахани в 1703 году: «Митрополичьи палаты составляют главное здание в городе, чрезвычайно обширное, длинное и каменное». В это самое время астраханский митрополит Сампсон (1697 – 1714 гг.) задумал расширить архиерейские палаты, надстроив над ними второй этаж. В восточной части этого второго этажа им был вновь сооружён домовый храм в честь Нерукотворного образа Спасителя, освящённый 14 августа 1709 года. Этот построенный митрополитом Сампсоном храм получил название «Крестовый», под которым и был более всего известен. В Крестовой церкви молились и служили астраханские архиереи в дни, которые на церковном языке назывались будничными. В праздники же архиереи, отслушав раннюю литургию здесь, выходили в Успенский Кафедральный собор. Для этого специально между архиерейскими палатами и Успенским собором была поставлена двухъярусная галерея.
Нижний её каменный ярус выводил в нижний храм Успенского собора, а верхний деревянный ярус вёл прямо из Крестовой церкви в верхний собор. Галерея была украшена изящной башенкой, увенчанной крутящимся флюгером в виде трубящего ангела.
Известно, что до середины XIX столетия из Крестовой церкви 15 августа, накануне дня чествования Нерукотворного образа Спасителя, отправлялся крестный ход к Пречистенской колокольне. Здесь, под сводами её, находилась часовня с чтимым астраханцами Нерукотворным образом Спасителя. Перед вечернею духовенство в полном облачении, в преднесении святых икон и хоругвей, в сопровождении множества народа, отправлялось из церкви к часовне. В это время на соборной колокольне начинался звон во все колокола и продолжался до тех пор, пока крестный ход не входил в городские ворота под колокольней. Звон тогда прекращался, и священники служили молебен, по окончании которого два священника брали Нерукотворный образ Спасителя и несли его с крестным ходом обратно – в Крестовую церковь. Здесь образ клали на аналой, снова служили молебен и на всю ночь оставляли его в церкви, где перед ним горела неугасимая лампада. 16 августа после вечерни при многочисленном стечении народа образ тем же порядком переносили обратно в часовню. После переноса, в середине XIX века, Нерукотворного образа Спасителя в Успенский собор этот крестный ход прекратил своё существование.
Осенью 1918 года Архиерейский дом был насильственным образом занят штабными организациями 11-й Армии. Здесь также разместился и комендант астраханского кремля. В течение 20-х годов Архиерейский дом вместе с Крестовой церковью находился в полном небрежении, отчего к 1928 году пришёл к состоянию полной разрухи. Вот как описывает его брандмейстер 1-й пожарной части, производивший 1 августа 1928 года обследование Архиерейского дома: «При осмотре оказалось, что владение горко (т. е. Архиерейский дом) состоит из разбитого, не имеющего ни окон, ни дверей, 4-этажного каменного под железной крышей дома, что служит убежищем для ночлега беспризорных и свободному доступу в само здание другим лицам». Ещё в 1927 году было принято решение о переоборудовании здания Архиерейского дома под общежитие для комсостава. Но специально созданная комиссия осмотрела на этот предмет помещёние и пришла к выводу, что «здание б/Архиерейского дома восстанавливать под общежитие комсостава она находит нецелесообразным, т. к. существующая планировка здания потребует сплошного перепроектирования и переоборудования». В связи с этим решено было разместить в Архиерейском доме Губархив. Но ремонт его здания настолько затянулся, что Губархив временно разместили в нижнем храме Успенского собора и в Троицком соборе. Когда же ремонт в Архиерейском доме закончился, его окончательно передали в военное ведомство. Помещёние Крестовой церкви было переоборудовано под красный уголок, а на месте алтаря была расположена сцена. Позже Крестовую церковь переоборудовали под актовый зал.
До настоящего времени в Архиерейском доме располагались различные военные учреждения: то дом офицеров, то дом астраханского гарнизона, то дом Военно-Каспийской флотилии. Само здание обветшало и пришло в состояние аварийности. Сейчас оно закрыто, законсервировано, и постепенно здесь начинаются реставрационные работы.
Архиерейский дом сейчас сильно изменился по сравнению со своим первоначальным обликом. Ещё в конце XVIII века, в 1777 – 1781 годах к двум первым этажам был пристроен ещё один. А в середине XIX века Архиерейский дом стал четырёхэтажным. Эти два верхних этажа сильно обезобразили, по общему мнению, его внешний облик.
В советское время была сломана галерея, соединявшая дом с Успенским собором. К северному фасаду здания была приделана уродливая пристройка. О Крестовой церкви сейчас напоминают только мощные трёхъярусные апсиды в восточной части здания.
