Fra 1100-tallet til 1649 lå det en kongelig residens i Richmond. Den er særlig kjent fra det 1500-tallets historie, da Henrik VIII og senere Elisabeth I tilbrakte juletiden i palasset.