Aunque ella estaba interesada en casarse con Fleming, este prefirió su soltería por lo que Charteris contrajo nupcias con Esmond Harmsworth, segundo vizconde de Rothermere, en junio de 1945.