康熙帝的最幼子允祕，干隆二年（1737年）分到此处府第。奏折中称：“奏为十月初二日和亲王、諴亲王迁移新府，照例除派内务府总管一员，带领内务府官员送行，并预备桌张事。” 干隆三十八年（1773年）十二月，允祕逝世。长子弘畅降爵袭郡王，仍居本府。允祕次子弘旿在干隆三十九年（1774年）获封固山贝子，在王府南端即今大取灯胡同9号另建一座贝子府（后为多公府）。弘畅长子多罗贝勒永珠因犯事而遭夺爵。因永珠无子嗣，乃以弘旿之孙绵勋为继子，降袭贝子。同治年间，由于绵勋贝子府仍为原来王府的规格，早就逾制，乃将王府后半