También tuvo un romance con su cuñada Gwen St Aubyn y con Mary Garman, luego casada con el poeta sudafricano Roy Campbell.