Первое, деревянное, здание церкви Каарли было построено в 1670 году на месте часовни Святого Антония, уничтоженной, вероятно, около 1570—1571 годов или в 1577 году в ходе Ливонской войны.