I 1815 fikk William beskjed om at han hadde blitt utnevnt til i den britiske hæren. Dette medførte også at familien måtte flytte til London, noe som ble tatt godt i mot. Ekteparet bosatte seg i Hanover Square i Queen Square i Bloomsbury, i nærheten av der Mary hadde bodd første gang i London. William, Mary og de to døtrene flyttet til London, mens de eldre sønnene (Woronzow og James) ble igjen i Skottland for å fullføre skolegangen der.