På 1100-tallet ble Arnsberg sete for westfalisk domsmakt. Senere mistet byen selvstendigheten sin og hørte til Köln-området da erkebiskopene regjerte her. Byen ble helt ødelagt under sjuårskrigen i 1769. I 1816 gikk byen til Preussen og ble sete for en lokal administrasjon.