George Pell var sønn av George Arthur og Margaret Lillian (født Burke) Pell. Faren var en ikkepraktiserende anglikaner med slektsrøtter i Leicestershire i England; han var bestyrer for Gordon gullgruve og også mester i tungvektsboksing. Moren var en hengiven katolikk av irsk bakgrunn. De fikk tvillinger, en gutt og en jente, som begge døde i 1940. Han fikk senere en yngre søster, Margaret, og en yngre bror, David. Som barn gjennomgikk George 24 operasjoner for å fjerne en verkebyll i halsen.