Деревянный кладбищенский храм в Олонце был построен в 1788 году «при державе Великия Государыни Екатерины Алексеевны, императрицы и самодержцы Всероссийския, Благословением преосвященного Вениамина, епископа Архангельского и Олонецкого, в честь и память Успения Пресвятыя Богородицы». Эта памятная надпись о строительстве и освящении храма сделана на старинной храмовой иконе, на которой образу Успения Божией Матери предстоит собор преподобных отцов Киево-Печерской лавры в Ближних и Дальних пещерах со святым апостолом Иаковом, братом Божиим, и мучеником Терентием.

Потребность в строительстве новой кладбищенской церкви в XVIII столетии была связана с вынужденным переносом городского кладбища на новое место. Заложенный 28 мая 1788 года, храм уже к осени был построен «тщанием городских прихожан» и освящен Александро-Свирским архимандритом Варлаамом 15 октября того же года, в день памяти преподобного Евфимия, нового чудотворца, икону которого поместили затем на южных диаконских дверях иконостаса.

Церковь была приписана к Николаевскому собору Олонца. В 1862 году она была возобновлена усердием олонецкого купца Василия Федоровича Кузнецова в память жены его, скончавшейся 10 января того же года. Успенский храм сделали теплым, подняли на фундамент, подправили, обшили тесом, покрасили, паперть снабдили тремя колоколами. 10 ноября того же года церковь освятили. «При возобновлении сего храма были в оном поновлены и все святые иконы при державе Великого Государя Александра Николаевича», — говорится в более поздней надписи на той же старинной иконе. Долгое время возле Успенской церкви стоял перенесенный с острова Мариам древний камень, на котором явился чудный образ Смоленской Божией Матери, пока, как рассказывают, не ушел в землю.

В 20-е годы при Успенской кладбищенской церкви была организована община верующих. Для отправления в нем богослужений нанимался причт Никольского собора, состоявший из двух священников и двух диаконов. Когда стали закрывать церкви, в отдаленную от центра города кладбищенскую церковь приносили все, что успевали спасти. Домик сторожа и чердак Успенского храма были в советские годы заполнены иконами, свезенными со всех храмов Олонца и окрестностей города. В церкви хранилась древняя святыня Олонецкого края — храмовая икона Смоленского собора Олонца, иконы из Николаевского собора.

В 60-е годы, во время усилившихся на Церковь гонений, Успенский храм попытались закрыть. Но его прихожане устояли под всесокрушающим напором богоборческой власти. Они написали заявление против закрытия церкви, под которым прихожанка Наталья Лобская, впоследствии монахиня Варвара, собрала подписи верующих горожан и отправилась с ними в Москву. Против олонецких «церковников», в «черный» список которых, вместе с Наталией Лобской, попали служащий священник иеромонах Петроний Богута и Михаил Петрович Мулиев, возбудили уголовное дело «по факту клеветы». Суд проходил в Олонецком доме культуры. На улицы были выставлены репродукторы, через которые транслировался показательный судебный процесс. Репортаж о нем был помещен в местной газете «Олонецкая правда».

Как вспоминала монахиня Варвара, суд вынес решение о выплате ею десятирублевого штрафа. Представители местной власти отобрали ключи, хранившиеся у Мулиева, и поспешили повесить на двери храма свои замки, с надеждой, что церковь, наконец, удалось закрыть. Но прихожане, спилив замок, продолжали молиться в храме, а когда церковь осталась без священника, срочно вызвали из Ленинграда нового священника, и богослужения вновь продолжались. Так храм удалось защитить в очередной раз.

В 90-е годы, когда в Олонце стали вновь открываться церкви, часть икон из Успенского храма передали Смоленскому собору и храму Спаса Нерукотворного в д. Еройла. Тогда в свой храм вернулась и древняя икона Божией Матери «Смоленская».

5 сентября 2000 года по благословению архиепископа Петрозаводского и Карельского Мануила и инициативе прихода Успенского храма впервые в Олонце прошел Крестный ход по местам бывших храмов православного города. До революции древний город Карелии с его славной 455-летней историей украшало немало прекрасных церквей. Один из его древнейших храмов — Николаевский собор (1630 г.), перестроенный в 1891 году, был разобран в 70-х годах. Не сохранились и другие церкви — Архистратига Михаила (1672 г.), Тихвинской иконы Божией Матери (1682 г.). До сих пор продолжается поругание храма Казанской иконы Божией Матери (1778 г.), имевшего приделы Зосимы и Савватия и святых бессребреников Космы и Дамиана.