Каменный храм в честь Воздвижения Креста Господня (Кресто-Воздвиженский) с приделами во имя Владимирской иконы Божией Матери и благоверных князей Бориса и Глеба построен в 1764-1767 годах на средства полковника Ивана Лесли, на правом берегу Днепра. В 1888 году возобновлена роспись в храме. В 1892 году на колокольне висели шесть колоколов, больший из которых весил 115 пудов (1840 кг.). К Кресто-воздвиженскому был приписан кладбищенский каменный храм, построенный в честь иконы Знамения Божией Матери с приделом мучеников и исповедников Гурия, Самона и Авива. От него сохранилась только каменная колокольня на Знаменском кладбище. На Троицкой неделе в Знаменском храме собирались многие горожане для поминовения усопших, и особенно скончавшихся «несчастно». Два раза в год – в день Преполовения Пятидесятницы и в празднество Всемилостивого Спаса совершался Крестный ход на сажалку (пруд) по преданию выкопанный преподобным Авраамием Смоленским.

Храм передан епархии в 1992 году. По благословению митрополита Кирилла Кресто-Воздвиженский храм с 1995 года восстанавливается Спасо-Окопным приходом. В 1996-1998 годах проведены работы по реставрации фасадов и интерьера храма, кровельные работы, установка куполов и крестов на главах храма и колокольни.