Каменный храм в честь Архангела Михаила возведен Давидом Ростисла-вовичем, князем Смоленским во время его правления в 1180-1197 годы и входил в комплекс загородного княжеского двора. Летописное известие о храме говорит о необычайном богатстве внутреннего убранства: «всим приходящим к ней дивитися изрядной красоте ея, иконы златом и сребром, и жемчугом, и камением драгим украшены, и всею благодатью исполнена». Белокаменная гробница князя Давида находилась в храме вплоть до его закрытия в первой половине XX века. Некоторое время при храме существовал монастырь. В 1611 году храм обращен в костел. Для православного Богослужения храм восстановлен в первом десятилетии XVIII века при митрополите Сильвестре (Крайском). В 1733 году к нему пристроен теплый придел. В конце XIX века храм имел четыре престола: главный в честь Архангела Михаила, придельные: во имя Алексия, человека Божия, благоверного князя Александра Невского (переименованный в память императора Александра I, из придела преподобного Александра Свирского) и мучеников Бориса и Глеба. Ежегодно, 24 июля к месту убиения князя Глеба, на Смядынь, совершался Крестный ход. Во второй половине XVIII века старостой храма был купец Василий Григорьевич Хлебников. По благословению епископа Парфения, в 1775-1785 годах В.Г.Хлебников построил каменные: колокольню, ограду и в юго-западном углу церковного участка одноэтажный дом, в котором за его счет обучались бедные и бесприютные мальчики.

В 1963 году при устройстве кровель храма по проекту П.Д.Барановского удалены некоторые архитектурные детали XIX века. По проекту С.С.Подъяпольского и Т.Е.Каменевой в 1976-1982 годах проведена реставрация фасадов, с восстановлением некоторых архитектурных форм XII века (узкие высокие окна храма, окна барабана главы, киот над южным порталом и др.) и реставрацией отдельных деталей XVIII века (восьмигранные окна на южном и северном фасадах, карнизы и др.).

Храм передан Епархиальному управлению в 1990-м году. Начата реставрация интерьера храма, которому по проекту предполагается вернуть облик интерьера XII века (восстановление хор в северном и южном приделах, разборка закладки в западной стене, отделяющей сейчас хоры в этой части храма от его центрального пространства). Богослужение возобновлено в 1991 году. Ведутся реставрационные работы. Белокаменный резной иконостас и престол храма митрополит Кирилл освятил 21 ноября 1999 года.