Недалеко от города в 1461 году иеромонахом Антонием, прибывшим из Белозерской стороны на пустынный берег р. Мологи, был основан монастырь. Первый храм был поставлен на пожертвования местного боярина Афанасия Нелединского-Мелецкого во имя Святителя Николая, на месте чудесного явления преподобному его иконы. Будучи настоятелем основанного им монастыря, преподобный назидал свою братию частыми поучениями и особенно примером своей подвижнической жизни. Скончался он в 1481 году и тело его погребено было под спудом в одном из приделов Никольского собора. С годами монастырь строился, росли его вотчины. В 1760-х гг. К монастырю был приписан Бежецкий Введенский монастырь. В 1783 открыта церковно-приходская школа, с 1809 в монастыре размещалось Краснохолмское духовное училище. К концу XIX века монастырь занимал 4-угольную площадь. В нем были четыре каменных церкви: Соборная Святителя Николая, с юго-западного угла с ней была пристроена в 1690 г. малая церковь Всех Святых (в соборе находились иконы Святителя Николая, одна из которых и была явленная); Покрова Пресвятой Богородицы с приделом Воздвижения Животворящего Креста Господня (1592 г); Вознесенская (1691 г.) над Святыми вратами; надвратная Иоанно-Предтеченская (1764 г). В трехъярусной каменной колокольне (1668 г) помещались библиотека и архив. Имелся двухэтажный настоятельский корпус (1748 г), братский корпус (1685 г), каменные небольшие келии над воротами. Вне ограды располагалась каменная часовня, устроенная в юго-восточной башне.

После революции Краснохолмский Николаевский Антониев монастырь постигла участь многих монастырей России. Он был разрушен и от построек конца XVII века до нас дошли остатки стены, Братский корпус, настоятельские кельи и северо-восточная башня. Стены Никольского собора, постройки XV века, тоже отчасти сохранились. Возможно, храм бы больше уцелел, если бы разорение святыни не продолжалось и по сей день, и не растаскивался кирпич уникального памятника. А ведь где-то среди этих одиноких стен находится место, где под спудом лежат святые мощи угодника Божиего преподобного Антония Краснохолмского.
Преподобне отче Антоние, моли Бога о нас грешных!