I spedbarnsalder fulgte han med familien som flyttet til Bronxville, en forstad til New York City. Faren pendlet til arbeidet som forsikringsagent på Manhattan. Faren døde brått av lungebetennelse i 1922. Etter dette flyttet moren Amy med barna for et år til Sveits, der Vance og broren lærte seg fransk ved L'Institut Sillig i Vevey. John W. Davis, som da var ambassadør i London, adopterte ham.