Karlovac er den yngste av Kroatias provinsbyer, og ble til ved et politisk og militært vedtak fattet i 1578 da Det habsburgske rike lot oppføre en befestning for å forsvare rikets søndre deler mot en osmansk invasjon. Byen er oppkalt etter sin grunnlegger Karl II.