Forfedrene till grevene von Berg kalte seg først (1068) «vom Berge» og ble i 1101 grever. Deres stamborg var fra først borgen Berge, som nå er en ruin i Altenberg. Omkring 1160 ble Berg delt i besittelsene Altena og Berg.