Urodził się 10 sierpnia 1945 roku w Jacksonville na Florydzie, jako dziecko Manuela i Amy Peña. Wraz z rodziną przeniósł się później do East Los Angeles. Swoje najmłodsze lata spędził w "barrio" (biednej hiszpańskojęzycznej części miasta). W 1963 roku ukończył Reseda High School. Jego ojciec - Manuel Peña - był weteranem II Wojny Światowej i wojny koreańskiej, agentem operacyjnym CIA oraz śledczym w sprawie zabójstwa Roberta F. Kennedy'ego .