Victoria Eugenie ble tidlig farløs da hennes far døde i 1896 mens han var i aktiv militærtjeneste i Afrika. Etter at dronning Victoria døde i 1901 flyttet Victoria Eugenie med sin familie til London og bosatte seg i Kensington Palace.