Tanto el duque como el rey murieron en 1820, lo que provocó que Victoria fuera criada bajo la supervisión de su madre, la princesa alemana Victoria de Sajonia-Coburgo-Saalfeld.