始王绵愉是清仁宗的第五子，嘉庆二十五年（1820年）晋封亲王。咸丰年间，他获授“奉命大将军”，与僧格林沁督办防剿，阻挡太平天国北伐军。他还提出铸铁钱以辅助大钱。英法联军入侵北京时，他又和僧格林沁会办防务。同治三年 （1864年）卒，谥为“端”。他的第五子奕详袭郡王爵，后来加亲王衔，光绪十二年（1886年）卒，谥为“敬”。他的长子载润继袭贝勒，直至清朝灭亡。如今，此府的正门以及后部都已被拆除改建为楼房，正殿、后寝仍存，其他建筑已大多被改建，此府现为机关宿舍。罗隆基在北京的住所位于乃兹府胡同12号院，即如今