火药阴谋发生前不久，奈维特清理了侧屋群，让詹姆士一世四岁的儿子，查尔斯王子入住，而自己则搬到附近的奈维特楼（后来改名为汉普登楼）。查尔斯王子只住了一段很短的时间，之后「宫殿后的房子」曾成为不同人的住所。包括了查尔斯王子的妹妹伊莉莎伯公主、护国公奥利弗·克伦威尔、乔治·蒙克，第一代阿尔伯马尔公爵、奥伦治王子和后来卡巴尔内阁的一员，即乔治·维利尔斯，第二代白金汉公爵。这些住客一直都有对「宫殿后的房子」进行不同程度的改建，使「宫殿后的房子」渐渐成为一所豪华的宅第。1677年，查理二世的女儿利奇菲尔德伯爵夫