Grosvenor ble født 17. september 1951 i Washington, D.C. Grosvenor er sønn av Anne og Melville Bell Grosvenor (1901-1982), som var president i National Geographic Society og redaktør av National Geographic. Grosvenor ble uteksaminert fra Deerfield Academy i 1969, og han har en bachelorgrad fra Yale College i 1974. Han fikk en Mastergrad i journalistikk fra Graduate School of Journalism ved Columbia University i 1976 og har en Master of business administration fra Columbia Business School i 1977.