Археалагічныя раскопкі паказваюць, што на месцы царквы Святога Яна існавала ў XII стагоддзі драўляная царква. Сучасная царква была заснавана ў XIV стагоддзі і спачатку была каталіцкай. Будынак моцна пацярпеў падчас Лівонскай і Вялікай Паўночнай войнаў, пасля чаго неаднаразова рэстаўраваўся і дабудоўваўся цягам XVIII—пачатку XX стагоддзяў. Падчас Другой сусветнай вайны царква згарэла падчас бамбарзіроўкі Тарту 26 жніўня 1944 года. Рэстаўрацыю пачалі праводзіць толькі ў 1989 годзе і ўрачыста адкрылі адбудаваную царкву 29 чэрвеня 2005 года.