Первая деревянная церковь во имя Михаила Архангела построена сразу же после основания Сердобска как сторожевого пункта в конце XVII ввека. Ее строили пахотные солдаты - люди пятидесятника Тимошки Гущина. Священником стал Тимофей Иванов. Новое поселение по церкви стало называться Архангельским, Сердобинская слобода тож. В 1711 году церковь сгорела во время набега кочевников.

Вместо нее построен новый деревянный храм, который простоял до самого конца XVIII века.

В 1780 году Сердобск стал уездным центром, вместо деревянной церкви в 1796 году построен каменный Михайло-Архангельский собор, освященный 9 апреля 1797 года.

В 1895 году началось строительство нового собора по проекту саратовского городского архитектора Алексея Марковича Салько. Приделы во имя Николая Чудотворца (слева) и Казанской иконы божией Матери (справа). Храм построена в 1905 году. В 1909 году московские художники закончили роспись внутренних стен. Собор мог вместить одновременно около 3000 прихожан.

В советское время храм закрыли. При сбросе большого колокола разрушена часть стены. Здание церкви с 1937 года использовали под воинский склад.

После войны собор возвратили верующим. В 1946 году церковь освятили. В 1990 году завершена работа по реставрации внутренних росписей собора. В декабре 1993 года в храме зазвонили новые колокола.