A mediados de la década de 1930, intentó invertir parte de sus fondos en una librería destinada al mercado de coleccionistas de libros, y, en 1939, comenzó a salir con Ann O'Neill —su apellido de soltera era Charteris—, que estaba casada con el tercer barón O'Neill y que mantenía simultáneamente otro romance con Esmond Harmsworth, heredero de "lord" Rothermere, dueño del "Daily Mail".