На месте храма с конца XVI века стояла каменная Фроловская башня с воротами. На ней в нише с 1602 года, по окончании строительства крепости, находился образ Божией Матери «Одигитрии», присланный в Смоленск царем Борисом Федоровичем Годуновым. В начале XVIII века, пришедшая в ветхое состояние башня, была разобрана. В 1727 году над воротами крепостной стены поставлен и в 1728 году освящен епископом Гедеоном (Вишневским), деревянный храм в честь Рождества Пресвятой Богородицы. В него перенесена чудотворная икона Божией Матери. При епископе Парфении (Сопковском) в 1793 году на месте деревянного храма построен каменный. В 1800 году он был освящен. Епископ Серафим (Глаголевский) благословил в 1811 году его перестроить. В храме устроили два престола: южный – во имя Всемилостивейшего Спаса, северный в честь Смоленской иконы Божией Матери.

Смоленская чудотворная икона с 6 августа до 5 ноября 1812 года находилась в действующей армии. Этой иконе молилась русская армия во главе с главнокомандующим М. И. Кутузовым на молебне накануне Бородинской битвы. Храм пострадал от неприятеля и восстановлен в 1814 году по проекту архитектора М. Н. Слепнева. Во второй половине 19 века мастером Леонтьевым написан иконостас. В 1909 году при храме открыта Смоленская публичная православная библиотека и читальня.

В советское время церковь закрыли. Несколько десятилетий здание храма использовалось под учреждения культуры.

В 1992 году в стенах Одигитриевского храма разместились начальные классы Православной гимназии. В гимназии устроен храм в честь Смоленской Иконы Божией Матери «Одигитрии», освященный митрополитом Смоленским и Калининградским Кириллом, ныне Святейшим Патриархом Московским и всея Руси. В мае 1993 года гимназию посещал Патриарх Алексий II.