Agajanian ble født i Santa Ana i California og gikk på San Pedro High School i San Pedro i Los Angeles. Som placekicker spilte han college football da han gikk på Compton Junior College og deretter University of New Mexico i Albuquerque i New Mexico. Han tjenestegjorde i U.S. Army Air Forces under andre verdenskrig som en treningsinstruktør. I college knuste Agajanian fire av tærne på sparkefoten sin i en arbeidsulykke, og måtte amputere dem i 1939.