Основание церкви Михаила Архангела относится ко времени начала Ярославского княжества. Первое упоминание о храме содержится в житии ярославских князей Василия и Константина, составленном иноком Пахомием около 1530 года: "Князь Великий Константин Всеволодович в меньшем своем граде Ярославле, на своем дворе, церковь построил каменную Успения Пресвятые Богородицы, в лето 6723 (1215), и того ж де лета заложи церковь иную в большом граде, у врат, брусяную, собор Архистратига Михаила, и соверши ее того ж де лета". В Архангельском храме хранилась рукопись конца XVII столетия, в которой сообщались сходные сведения: "Церковь святого Архистратига Михаила первоначально сооружена была на сем месте брусчатая близ ворот, потом от церкви наименованных Архангельскими, великим князем Константином Всеволодовичем (Мудрым), в бытность его княжения в Ярославле, в лето от Рождества Христова 1213 и освящена в 1216 году, стояла та церковь 79 лет". Если придерживаться этой версии, то деревянный храм был воздвигнут еще до сооружения первого каменного Успенского собора в Рубленом городе.

В 1295 году, по той же рукописи, на месте первого храма "святого благоверного, великого князя Феодора Ростиславовича вторая его супруга, дочь ордынского царя Ногая, княгиня Анна, созда новую Архистратига Михаила церковь и в ней честную Богоматери икону постави и украси ее златом и серебром, и камением драгим... наименовав оную церковь Соборною". По преданию, церковь являлась дворцовой ярославских князей второй династии, и княгиня отстроила ее в память о Михаиле - умершем сыне князя Феодора от первого брака. (Общепринято считать, что вторая жена князя Феодора Черного была дочерью хана Менгу-Тимура, а не Ногая.)

Деревянная церковь Михаила Архангела упоминается в Переписной книге Ярославля 1646 года. Ныне существующий каменный храм во имя Собора Архистратига Михаила и прочих Небесных Сил бесплотных с приделом Зосимы и Савватия Соловецких в северном крыле галереи был заложен в 1657 году на средства прихожан, строительство его продолжалось более двадцати лет, поскольку освятили церковь после 1680 года. Первоначальный проект отдавал дань ярославской архитектурной моде 1650-х годов: очень высокий подклет предназначался для хранения товаров с близлежащей торговой площади, к северо-западному углу была пристроена тяжелая квадратная колокольня в виде башни, домообразное крыльцо возвышалось на ползучих арках. Однако верхняя часть храма была исполнена в духе более позднего периода ярославского зодчества: отсюда - крупные главы и барабаны, высокие окна, четырехскатное покрытие над ложными закомарами.

Теплый храм прихода во имя Благовещения Богоматери устроили в южном крыле галереи после 1781 года. Церковь Михаила Архангела была расписана в 1731 году артелью местных мастеров, имена которых сообщает надпись на южной стене: "Трудившиеся о Бозе ярославские иконописцы Федор Федоров, Семен Иванов, Иван да Иван же дети Никитины, Алексей Сергеев, Алексей Иванов, Андрей Емельянов... с сыном Афонасьем, Иван Сергеев, Матфей Сергеев, Ларион Иванов, Иван Стефанов, Иван Афонасьев, Матфей Никитин".

В Архангельском храме находились несколько чтимых икон, поставленных, по преданию, княгеней Анной: над царскими вратами помещался образ Богоматери Владимирской в серебряной ризе, на полях которой были отчеканены святые "греческой церкви", а также храмовая икона Архистратига Михаила, которая хранится в настоящее время в Третьяковской галерее.

Храм Архангела Михаила был закрыт в 1924 году. Все Святыни и ценности при закрытии храма были конфискованы.

При возвращении храма, в 1994 году, Русской Православной Церкви, эти реликвии и святыни не возвращены.