Han vokste opp i Canada, England og Frankrike. Vanier og familien kom seg ut av Paris like før tyskerne inntok og okkuperte byen. Han var så ved et engelsk marineakademi. Fra han var 13 utdannet han seg ved Dartmouth Naval College (det senere Britannia Royal Naval College) for å bli marineoffiser.