С 1717 г. село Ярополец находилось во владении рода Чернышевых. До 1774 г. здесь существовала деревянная церковь в честь Казанской иконы Божией Матери.

Начало строительства нового каменного храма датируется 1780 г. В 1782 г. каменная церковь была построена только до половины из-за кончины графа Захара Григорьевича Чернышева. Строительство и внутренняя отделка храма продолжались более 50-ти лет и были завершены в первой половине XIX в. Главный престол освящен в 1839-1840 гг. Проект церкви относят к кругу работ выдающегося русского архитектора XVIII в. М.Ф.Казакова. Храм каменный, оштукатуренный, с лепной белокаменной отделкой, построен в стиле классицизма. Здание заключает в себе две церкви, которые повернуты в разные стороны апсидами и объединены общим притвором с хорами наверху. Восточную часть занимает Казанская церковь, в западной части помещается двухпридельная усыпальница Чернышевых.

Главный престол освящен в честь Казанской иконы Божией Матери, приделы — во имя пророка Захарии и праведной Анны, матери Пресвятой Богородицы. Со времени основания и до закрытия в 1962 г. в храме совершались богослужения. После закрытия церкви здание использовалась как льнохранилище, как подсобное помещение.

Служба в храме не ведётся, здание в аварийном состоянии.