Frän slägtled till slägtled hade slottet gått i arf inom den grefliga familjen von Altloben.