Домовая церковь Иконы Божией Матери Всех Скорбящих Радость устроена в 1872 году на 2-м этаже богадельни для призрения престарелых жителей Ростова и для приюта бедных сирот. Богадельня устроена на средства купца Д.М. Плешанова.

В 1929 году церковь закрыта. В помещении церкви устроен клуб для красноармейцев.

Домовая церковь восстановлена. В здании находится межрайонная ИФНС России № 2 по Ярославской области.