Panetta er sønn av en katolsk innvandrer fra Italia. Han gikk først på katolske skoler i Monterey og senere i en offentlig high school. Han avla i 1960 sin grunneksamen og i 1963 sin juristeksamen ved Santa Clara University. Etter studietiden tjenestegjorde Panetta i US Army.