Familien slo seg ned i Garment District på Manhattan i New York. Penzias ble naturalisert som amerikansk borger i 1946. Han ble uteksaminert fra videregående skole i 1951 og fikk en bachelorgrad fra City College of New York i 1954. Han mottok en mastergrad fra Columbia University i 1958 og sin doktorgrad under Charles Hard Townes i 1962.