Etter å ha tapt mange av sine områder, flyttet de i løpet av 1000-tallet sitt sete til Arnsberg og grunnla grevskapet Arnsberg. Dette var et territorium innenfor det hellige romerske rike av den tyske nasjon inntil det ble innlemmet i hertugdømmet Westfalen i 1368. En annen linje utgikk fra grevskapet Werl i årene 1225/1226 i form av grevene av Hövel.