Die auf einem 80 m hohen Porphyrfelsen als Wahrzeichen der Stadt thronende Burgruine Hallenburg gehört wohl zu den herausragendsten historischen Gebäuden der Stadt. Die spätromanische Burg am Arnsberg mit dem 20 m hohen Bergfried und Resten der Kernburg wurde in einer Schenkungsurkunde aus dem Jahre 1268 als "castum Haldenberc" erstmals urkundlich erwähnt.