Каменный храм Сошествия Святого Духа построен в 1642 году (архитектор Зубов В.Х. - известный мастер из Солигача) как монастырский собор при игумене Севастиане. С 1400-х до 1787 годы на тереторрии церкви находился мужской Свято-Духов монастырь. Трапезная с приделом муч. Александры построена в 1798 году. Шатровая колокольня вместо прежней в 1864 году (архитектор Стопычев И.В.).

В советское время закрыт. Со 2-й половины 20 века занят научной библиотекой музея.

В настоящее время в здании находится научная библиотека музея.