Richard II var den første kongen som gjorde Sheen til sin hovedresidens, i 1383. Han tok med seg sin kone Anne av Böhmen dit, og de levde der sammen i 12 år før hun døde. Kongen ble så fra seg av sorg over sin kone at han beordret at herregården skulle rives. Den lå i ruiner i nesten 20 år, før Henrik V startet byggearbeider. Han grunnla også et karteuserkloster der.