Храм построен в честь происшедшего 15 октября 1703 года знамения от иконы Божией Матери Смоленская, покровительницы города Белгорода. Строился с 1727 по 1763 год. Освящен в 1763 году. Внизу тёплый Смоленский храм, вверху Петропавловский, третий престол Михаило-Архангельский (1839 год).

После 1917 года храм подвергся поруганию и осквернению. В 1943 году поврежден обстрелом. В советское время предпринимались попытки взрыва храма (1958, 1974 годы). С 1980-х годов реставрировался под органный зал.

В 1992 году передан Церкви.