Еще в 1857 году, когда кладбищу отвели у Малого проспекта новый большой участок, на нем решено было выстроить Успенскую церковь, проект которой составил Д. И. Гримм, воспроизведя в уменьшенном виде царьградский храм св. Софии. В 1884 проект утвердили, но средств на постройку собрать не удалось.

Прошло пятнадцать лет, и прот. Алексей Иоаннович Сперанский, настоятель Смоленской церкви, поручил арх. В. А. Демяновскому создать новый план в стиле "нарышкинского" барокко. 16.VI.1901 этот трехпридельный храм был заложен митрополитом Антонином близ кладбищенских ворот. Строительство, несмотря на сложные задачи, длилось всего два года.

16 и 30.VI.1903 освящены боковые, а 2.V.1904 отделенный от них глухими перегородками главный придел. Золоченый барочный иконостас вырезали по рисунку зодчего в мастерской П. С. Абросимова, образа написал акад. А. Н. Новоскольцев. Алтарь украшала мозаика по эскизу В. М. Васнецова.

В подвале были сделаны склепы для захоронений. В одном из них похоронили известного историка и публициста М. М. Стасюлевича. 10 августа 1921 года в церкви отпевали поэта А. Блока.

Церковь закрыта в 1930 и переделана под общежитие. В 1977 в обезображенном здании решили устроить насосную станцию. В ходе работ были сломаны своды в подвале и сделаны металлические конструкции. В 1989 работы остановлены. 13.VI.1991 зарегистрирована община; в 1995 храм отдали под подворье Новоиерусалимского монастыря.