Часовня поставлена в память о явлении Божией Матери старцу Иоакиму, на месте, где до этого стоял воздвигнутый ещё при жизни самого Арсения деревянный поклонный крест. Крест был чудодейственным и помогал исцелять зубную боль. В 1740 году на месте креста была поставлена небольшая деревянная часовенка, а остатки самого креста были перенесены внутрь её и сохранялись там вплоть до прихода на Коневец военных частей Красной армии. В годы советской власти она была перенесена военными со Святой горы к причалу и использовалась как КПП для приплывавших на остров. Когда остров вновь вернулся монастырю в 1991 году, часовню восстановили и перенесли на старое место, однако внутреннее убранство часовни пришлось при этом полностью воссоздать заново.
Часовня, таким образом, является самой старой по времени постройкой на Коневце.