Edvards far skal ha vært kjærlig mot sine barn, til tross for at han sverget til en oppdragelse med streng disiplin. Folket oppfattet ofte moren Mary som en streng og alvorlig kvinne, men overfor barna var hun mer lettsindig. Edvard skriver senere i sine memoarer om da han og søsknene serverte toast med rumpetroll som pålegg til sin fransklærer. Moren moret seg da dette kom for dagen, og lovte dem å holde på hemmeligheten.