En 1920 Walton dejó Oxford sin conseguir el doctorado —tras fallar los "Responsions"— para alojarse en Londres como "un hermano adoptado o elegido" en casa de los Sitwell, una familia con gran tradición literaria, con los hermanos Sacheverell, Osbert y Edith.