Som skikken var i de fleste overklassehjem, overlot foreldrene mye av oppdrageransvaret til barnepiker, guvernanter og huslærere. En av Edvards første guvernanter mishandlet ham ved å klype ham før han skulle treffe sine foreldre. Hans stadige gråt og misnøye imøte med foreldrene førte ofte til at hertugen og hertuginnen viste Edvard og guvernanten bort. Etter hvert ble forholdet avdekket og guvernanten mistet jobben.