一家痲疯病院，其守护圣者是十二门徒之一的圣雅各（或译圣詹姆士），宫殿和附近的公园都由此得名。 该病院在1532年被解散。宫殿的建造从1531年开始，于1536年竣工，使用了“红砖”，由四个四方庭院组成。宫殿北侧现存的主门楼仍基本保持原样，两旁是配以装饰性城垛的多边形塔楼，不过主门楼的窗户都配上了的乔治风格的窗。圣詹姆士宫成为了亨利八世最喜爱的宫殿之一，仅次于他的寝宫怀特霍尔宫（或译“白厅宫”）。亨利八世的两名子女都在这里去世，包括私生子亨利·菲茨罗伊和「血腥女王」玛丽一世——玛丽女王的心脏和肠子被埋葬在