I den gamle bydelen, Højbyen, ligger byens landemerke, Vor Frue kirke, som er Danmarks eneste kirke med fem tårn, reist i byzantinsk stil. Alt på 1700-tallet ble kirken beskrevet som «orientalisk». Rett ved kirken finner man bispegården. Frem til reformasjonen da den ble krongods, var dette Roskildebispens eiendom.