Pell var sønn av kongressmannen Herbert Claiborne Pell, Jr., og tilhørte en familie med mange politikere. Han studerte historie ved Princeton University og Columbia University, og tjenestegjorde i den amerikanske kystvakten og kystvaktreserven. Fra 1945 til 1952 arbeidet han i den amerikanske utenrikstjenesten, og var stasjonert i Tsjekkoslovakia, Italia og Washington.