I løpet av tiden som student i Oxford fikk han en venn som skulle ha avgjørende betydning for hans videre liv. Det var Sacheverell Sitwell, Sachie blant venner. Sitwell-familien var en av Englands mest eksentriske på denne tiden og hadde tjent en formue på utvinning av kull. Walton fikk tilbud om å komme til London og bo hos Sitwells, hvor han kunne komponere, fritt for økonomiske bekymringer.