雍正八年（1730年），怡亲王允祥逝后，因故邸改建贤良寺以祀王，因此赐第二代嗣王弘晓建新府于此，为和旧府有别，也称此处为怡亲王新府。后来，怡亲王第六代载垣在“辛酉政变”中被赐自尽，怡亲王府被收回。同治三年（1864年），将这个府邸赐道光皇帝第九子孚郡王奕譓为邸，俗称“九爷府”。11年后孚郡王晋升亲王，此府改称孚王府。民国期间，张作霖的部下杨宇霆买下孚王府，后来曾经改建成北平大学女子文理学校。1949年后，孚王府由中央财政经济委员会等多家单位占用，后来陆续住进几百户居民。现有居民270多户，搭建的违章建筑有