此府原址元朝为崇真万寿宫，明朝为天师庵草场。明朝天启六年，天师庵草场失火。清朝在此处兴建諴亲王府。《干隆京城全图》取灯胡同以北，从大佛寺西街（今美术馆后街）至东黄城根北街，为諴亲王府。《宸垣识略》卷六：“諴亲王在大佛寺北路西”。諴亲王是清朝康熙帝的最幼子允祕，干隆二年（1737年）分到此处府第。奏折中称：“奏为十月初二日和亲王、諴亲王迁移新府，照例除派内务府总管一员，带领内务府官员送行，并预备桌张事。” 干隆三十八年（1773年）十二月，允祕逝世。长子弘畅降爵袭郡王，仍居本府。允祕次子弘旿在干隆三十九年