John Constantine Unitas ble født i Pittsburgh i 1933 til Francis J. Unitas og Helen Superfisky, som begge var av litauisk opphav; han vokste opp i Mount Washington-nabolaget. Da Unitas var fem år gammel døde faren av en hjertesykdom som ble forverret på grunn av lungebetennelse, og moren måtte ta opp to jobber for å forsørge familien. Etternavnet hans kommer fra en fonetisk translitterasjon av et vanlig litauisk etternavn, . Units spilte halfback og quarterback ved St. Justin's High School i Pittsburgh.