Grosvenor ble født i 1875 til Lilian Vann og Edwin A. Grosvenor i Konstantinopel, Ottomanske Riket, (nå Istanbul, Tyrkia) og utdannet ved Worcester Academy og ved Robert Elementary School. Han studere ved Amherst College og ble uteksaminert med Bachelorgrad i 1897. mens han bodde i Amherst var Grosvenor og hans tvillingbror Edwin et av de beste tennisspiller-par Grosvenor ble President i National Geographic Society (1920-1954). Grosvenor giftet seg med Elsie May Bell (1878-1964), datter av Alexander Graham Bell. De fikk 7 barn, bl.a. Mabel H. Grosvenor som også fungerte som sekretær for sin bestefar; oppfinneren Alexander Graham Bell. Grosvenors helse forverret seg etter hans hustrus død, og han døde i en alder av 90 år, 4. februar 1966.