Время основания монастыря неизвестно. Первое летописное упоминание о монастыре святых Козьмы и Дамиана на Гремячей горе относится к 1382 году. Во время строительства каменной церкви монастырь находился вне города и посада. Гремячая гора называлась крайним ориентиром деревянных укреплений 1465 года на Запсковье в их восточной части. Гремячая гора была защищена каменной стеной позднее остальной части территории Запсковья – только в начале XVI века.

Летописные данные о Козмодемьянском монастыре крайне скудны. Псковская летопись сообщает: «в лето 7048 (1540)… Того же лета совершиша 4 церкви камены: …а дроугая Козьма и Демьана на Гремячеи горе в манастыре». Впрочем, ровно через год вновь построенная церковь сгорела: «В лето 7049 (1541) сентября в 19 …загорелось на Запсковье у Старого Примостья, в заоулки, у Елизаровского двора, и погоре все Запсковье за умножение грех ради наших; а на Гримячеи горе в монастыри святии чюдотворцы Козма и Демьян новая церковь каменная, и не священа бысть».

В 1558 году обители был подарен колокол, который сохранялся до революции. В 1664 году в Козмодемьянском монастыре принял схиму и поселился архиепископ Псковский Макарий – один из кандидатов на Патриарший престол в России, участник многих Церковных соборов, один из авторов выписки из правил Святых отцов на осуждение Патриарха Никона «за самовольный уход». Архиепископ Макарий был современником грозных событий 1650 года. Он видел от своей паствы немало горя и тяжких оскорблений: во время бунта псковичи много раз грозили ему смертью и даже сажали на цепь. Архиепископ Макарий умер 20 июля 1665 года. В церкви святых Козьмы и Дамиана на Гремячей горе в дьяконнике сохранилась небольшая комнатка с одним окошком, в которой, по преданию, молился архиепископ Макарий (в схиме – Михаил). Тело его было погребено в притворе церкви.

Сохранилось несколько изображений монастыря на иконах цикла видения Богородицы псковскому кузнецу Дорофею во время осады города войсками Стефана Батория в 1581 году. Согласно литографии И. И. Горностаева по иконе из часовни Владычного Креста, в конце XVI-начале XVII веков монастырский ансамбль включал: в себя соборную церковь святых Козьмы и Дамиана; колокольню-звонницу, находившуюся с южной стороны храма (скорее всего она находилась на стене храма); так же в южной части монастыря находились кельи и хозяйственные постройки; Святые врата находились в северо-западной части невысокой ограды.

По ревизии 1744 года за Козмодемьянским монастырем числились уже 318 душ крестьян.

В. В. Зверинский считал, что Козмодемьянский монастырь в 1764 году был оставлен заштатом, но вскоре совсем упразднен. Однако более верные сведения приводятся И. И. Василевым и Н. Ф. Окулич-Казариным, которые считают, что монастырь уже в 1764 году был упразднен, Козмодемьянская церковь обращена в приходскую, а потом приписана к Петропавловскому собору, монастырские постройки были отданы под городскую больницу.

К 90-м годам XIX века храм пришел в ветхость, запустел и грозил превратиться в руину, но нашелся благочестивый ревнитель древности И. М. Стехновский, восстановивший за свой счет забытый храм.

После революции церковь святых Козьмы и Дамиана на Гремячей горе была закрыта и разорена. За многие годы она пришла в запустение. В 60-е годы XX века были проведены реставрационные работы.

В настоящее время от монастырского ансамбля сохранились – церковь святых Козьмы и Дамиана; палаты Якова Сырникова или «Палаты в Волчьих ямах» (принадлежали монастырю со 2 пол. XVIII века до 1764 года); хлебопекарня Енисейского полка или здание бывшего кожевенного завода (до 1764 года принадлежали монастырю).

Ансамбль Гремячей горы представляет собой визитную карточку Пскова. Все исследователи отмечали необычайную силу художественного воздействия этого ансамбля. Многие путеводители по Пскову украшены стилизованным изображением этого древнего ансамбля.

Церковь святых Козьмы и Дамиана с Гремячей горы состоит на охране как памятник республиканского значения; постановление Совета Министров РСФСР № 1327 от 30 августа 1960 года.