Byen ble offisielt grunnlagt i 1140, men sannsynligvis har det vært bebyggelse på stedet allerede siden 400-tallet. Den fikk kjøpstadsrettigheter i 1140, og ble etter hvert et viktig religiøst sentrum med flere klostre i eller ved byen. Benediktinerne opprettet det såkalte «Skogsklosteret» (dansk: Skovkloster) som i dag er Herlufsholm kostskole. Også dominikanerne og fransiskanerne hadde klostre her.