Den nuvarande Karlskyrkan är den femte kyrkobyggnaden på platsen. Redan under förkristen tid i Estland låg här en helig plats. I och med traktens kristnande av danska korsfarare uppfördes omkring början av 1300-talet ett katolskt kapell på platsen, senare en kyrka. Kyrkan på platsen omnämns första gången 1458 i skriftliga källor och var vigd åt Sankt Antonius, som senare har givit namn åt kullen Tõnismägi och den omgivande stadsdelen Tõnismäe. Byggnaden förstördes i samband med belägringarna av Reval under Livländska kriget på 1570-talet.