С восточной стороны Крестовоздвиженского храма располагались вначале ворота с двумя калитками по сторонам. Над воротами со стороны двора помещалась ставшая весьма почитаемой икона Федоровской Божьей Матери. В 1820-е годы по проекту губернского архитектора Е.Я.Петрова на месте ворот была выстроена Федоровская часовня. Она просуществовала до 1877 года, когда на средства фабриканта А.А.Напалкова выстроили новое здание.

В 1913 году часовня была облицована керамической плиткой. В ней хранилась икона Федоровской Божьей Матери в жемчужном окладе.

В соответствии с решением горсовета от 24 января 1929 года часовня использовалась совместно общинами православных традиционного и обновленческого направлений. Снесли часовню вместе с Крестовоздвиженской церковью в 1932 году.