Efter prins Alberts død i 1872 blev bygningen arvet af hans søn prins Albrecht. Ejendommen blev administreret af portieren August Sabac el Cher, en afro-tysk stammende fra sudanesisk Kordofan, der blev "præsenteret" for sin far af Wāli Muhammad Ali Pasha i Kairo i 1843. Bygningen forblev i privat eje af Hohenzollern-dynastiet selv efter den tyske revolution 1918–1919.