I 1921 måtte prins Gongs barnebarn overdra den da pantsatte eiendommen til den katolske kirke. Den ble kjøpt av det katolske Fu Jen-universitetet og ble inkorporert i universitetsområdet. Etter kommunistenes seier i den kinesiske borgerkrig ble dette universitetet, med herskapshuset, slått inn under Beijings pedagogiske universitet. Senere ble bygningene utskilt og gjort til lokaler for det kinesiske musikkakademi.