Varley ble født i Sheffield, England. i 1881. Han studerte kunst først i Sheffield, og siden ved Académie Royale des Beaux-Arts i Antwerpen, Belgia. Etter råd fra Arthur Lismer (også fra Sheffield), emigrerte han til Canada i 1912 og fikk ansettelse hos Grip Ltd, Toronto, i likhet med flere av de øvrige group of Seven- medlemmene.