Han vokste opp i Leith Hill Place (Surrey) og fikk sine første musikktimer fra en tante. Han fikk også innføring i musikk fra moren. I ung alder kunne han spille orgel, klaver og fiolin. Han ble påmeldt et kurs i musikkteori bare ni år gammel. Vaughan Willams skal 15 år gammel ha bestemt seg for å bli komponist.