Unitas ble valgt til kapten for 1954-sesongen, men gikk glipp av størsteparten av sesongen etter en skade. Hans første kampstart kom i sesongens tredje kamp mot Florida State. Av de 34 spillerne på laget var 21 av dem freshmen. Cardinals avsluttet 1954-sesongen 3–6, og Unitas lå bak Jim Houser i pasningsyards i sesongen med 527 mot Housers 560.