Gilbert Melville Grosvenor ble født i Washington, D.C, som sønn av Melville B. Grosvenor og oldebarn til Alexander Graham Bell. Han tok en bachelorgrad i psykologi ved Yale University i 1954. Mens han studerte deltok han som frivillig i Nederland for å hjelpe etter Nordsjø-flommen i 1953 og skrev en artikkel som ble publisert i . «Although I'm not sure I realized it at the time, it changed my life,» fortalte Grosvenor en journalist «I discovered the power of journalism. And that's what we are all about—recording those chronicles of planet Earth.» Han ble så ansatt som fotoredaktør.