Washburn ble født den 7. juni 1910 i Cambridge i Massachusetts i en av Bostons overklassefamilier med røtter tilbake til en av passasjerne på , eldste? William Brewster. Brewster var leder i Pilegrimskolonien, og åndelig leder av Plymouth-kolonien. Washburns far var pastor Henry Bradford Washburn, Sr., en ivrig friluftsmann, som var dekan ved Episcopal Theological School i Cambridge og Edith Buckingham Hall. Hans yngre bror var Sherwood Larned Washburn, med kallenavnet «Sherry», som var fysisk antropolog og pioner innen primatologi.