Su padre era miembro de la Real Fuerza Aérea Británica, y debido a ello Rosemary vivió con su familia en la India durante su niñez.