В 1739-1744 г. на месте деревянного храма Георгия Победоносца был выстроен на средства местного помещика, отставного бригадира Афанасия Радищева, новый каменный собор во имя Казанской иконы Божией Матери с приделами Георгия Победоносца и Иоанна Воина. Из икон особо почитались древняя икона благоверного царевича Дмитрия, написанная угличским мещанином И.И.Бурениным в 1685 г.

В Георгиевском приделе в 1746 году был захоронен А. П. Радищев. Во время Малоярославецкого сражения в 1812 году, собор сильно пострадал: двери и окна были сильно разбиты, своды пробиты ядра­ми, церковные книги и утварь сожжены или разграблены. После сражения прихожане жертвовали средства на восстановление храма и поэтому службы начались достаточ­но скоро. В 1855 году на средства купца Га­вриилы Петровича Целебеева была постро­ена трехъярусная колокольня, которая при­дала зданию собора величественный и за­конченный вид. В 1883 году по проекту архитектора А. Д. Скловского была перестроена и расширена трапезная. В 1887 году над дверьми и за алтарем снаружи были написаны на стенах иконы Святого Георгия Победоносца, Святого Иоанна Воина, Казанской Бо­жией Матери, Преображение и Вознесение Господня. В центральной части находился четырехъярусный иконостас, а в приделах — трехъярусные иконостасы. Иконы в позо­лоченных застекленных киотах, в серебряных окладах, а некоторые с драгоценными камнями украшали иконостасы. Стены собора изнутри были расписаны изящно и тонко московским живописцем Шваревым (1900 г.). Деревянные полы в храме были заменены на мраморные (1895 г.), а в трапезной выложены цветной метлахской плиткой (1897 г.).

В 1930 г. собор был закрыт, и в нем разместился Дом крестьянина. Здание храма было перестроено, венчания сломаны, колокольня снесена до первого яруса, а колокола использованы на нужды индустриализации, могила строителя храма А.П. Радищева утрачена. Долгое время в соборе размещался городской кинотеатр, в алтаре были устроены туалеты.

Возвращён верующим в 2000-х годах. К 600-летию города фасад собора был отштукатурен и окрашен.