草堂笔记》记载该宅闹鬼：“阅年既久，故不免有时变怪，然不为人害也。厅西小房两楹，曰‘好春轩’，为文达燕见宾客地，北壁一门，横通小屋两极楹，童仆夜宿其中，睡后多为魅出，不知是鬼是狐，故无敢下榻其中者。”干隆后期，该宅被赐给干隆帝长子定亲王永璜之子镇国公绵德（干隆四十二年封镇国公）；绵德在干隆四十九年晋为贝子，保存至今的府邸即为贝子府的规制。清朝末年，该府由毓祥继承，因此又被称为“祥公府”。清朝被推翻后，1913年中华民国北京政府蒙藏院在此开办蒙藏学校，1924年在东侧院建立松坡图书馆第二馆（即外文部）