Grosvenor ble født i Washington, D.C. 26. november 1901. Året etter, båret av sin bestefar, hjalp han til med å legge grunnsteinen for National Geographic Society's første bygning, Hubbard Hall. Hans mor, født Elsie Bell var datter av Alexander Graham Bell.