Se crió en el Castillo de Windsor con el hijo ilegítimo de Enrique VIII, Henry Fitzroy, duque de Richmond; se hicieron amigos íntimos y, más tarde, cuñados.