Hylleholt stammer fra tilbake til 1500-tallet. Landsbyen ble «utskiftet» i 1808, slik at gårdene fikk egen jord. Vemmetofte kloster og grevskapet Bregentved anla i 1862-64 en havn her, for å motta kalk produsert i Faxe kalkbrudd. Litt lenger øst ble også Rosendals Havn anlagt i 1870. Hylleholt kirke sto ferdig i 1878, og jernbanen kom hit i 1879, da Østbanen fra Køge til Hårlev ble anlagt videre til Fakse Ladeplads, (Faxe Ladeplads St).