Herregården brant ned 23. desember 1497, og Henrik VII bygde et slott der i stedet. Han likte seg svært i Richmond slott i Yorkshire, og var også jarl av Richmond, og ga derfor stedet navnet Richmond i 1501. Sheen er i dag et område helt i den østlige ytterkanten av Richmond.