I tolvårsalderen hadde tilstanden hans forverret seg og han fikk et eget bosted ved Wood Farm på Sandringham. Han hadde en barnepike, Charlotte Bill, kjent i familien som «Lalla». Thomas Haverly, en vognmann fra Windsor, fikk jobben som prinsens sjåfør. Han tok med prinsen på turer til landsbygden, til sjøen og til «det store huset» på Sandringham når kongefamilien var der.