Etter hennes foreldres skilsmisse, som en følge av morens utroskap med Peter Shand Kydd, tok Dianas mor med seg sine to yngste barn for å leve i en leilighet i Knightsbridge i London, hvor Diana begynte på en lokal dagskole. Ved juletider samme år (1967, Diana var bare 6 år gammel) dro Spencer-barna for å feire med sin far, og han nektet konsekvent på å la dem reise tilbake til moren i London. Moren saksøkte for å få foreldreretten til barna, men farens rang, hjulpet av vitneforklaring fra mormoren mot sin datter under rettssaken, bidro til at retten gav faren foreldreretten til de to barna. Da hennes farfar, Albert Spencer, 7. jarl Spencer døde i 1975, ble Dianas far den 8. jarl Spencer. Det medførte at hun selv ble omtalt som . Hun flyttet fra sitt barndomshjem i Park House til sin families (og forfedres) hus fra 1500-tallet i Althorp.