På platsen låg under medeltiden Tallinns johanniterhospital för leprasjuka, omnämnt redan år 1237 i ett dokument undertecknat av den påvliga legaten Vilhelm av Modena. Hospitalets kapell uppfördes senast under 1300-talet. Det ursprungliga kapellet förstördes under Livländska kriget på 1500-talet och på platsen uppfördes istället 1648 den nuvarande kyrkobyggnaden, som flera gånger byggts om. Sedan 1990-talet har Johanneskyrkan en församling tillhörande Armeniska apostoliska kyrkan.