Karłowice były pod panowaniem osmańskim do roku 1688, do V wojny austriacko-tureckiej, kiedy Imperium Osmańskie podczas odwrotu w kierunku Belgradu spalili i zniszczyli to miasto. Od 16 listopada 1698 do 26 stycznia 1699 trwały rokowania pokojowe, które oznaczały koniec wojny pomiędzy Imperium Osmańskim i krajami Świętej Ligi (koalicją Austrii, Rzeczypospolitej Obojga Narodów i Republiki Weneckiej). Negocjacje zakończyły się podpisaniem traktatu pokojowego zwanego "pokojem w Karłowicach", według którego Karłowice stały się częścią posiadłości habsburskich pod nazwą Pogranicze Wojskowe (sch. "Vojna Krajina"). Na miejscu, gdzie został podpisany pokój w Karłowicach, wzniesiono w 1817 roku Kaplicę Pokoju.