Tidligere lå Hirschholm slott i byen, som man kan se på Hørsholm kommunes byvåpen, som inneholder hodet av en hjort ( = hjort på tysk). Etter hvert forfalt slottet og etter at det ble revet oppførte man Hørsholm kirke på stedet. Øst for kirken ligger Hørsholm Egns Museum med arkeologiske og kulturhistoriske samlinger fra byen og omegn.