Unitas endte opp med å gå på University of Louisville. I løpet av sine fire år med Lousiville Cardinals fullførte Unitas 245 pasninger for 3 139 yards og 27 touchdowns. Unitas, som var 185 cm, skal ha veid kun 66 kg da han møtte opp til sin første trening. Hans første start kom i femte kamp av 1951-sesongen mot St. Bonaventure hvor han fullførte 11 pasninger på rad og scoret tre touchdowns som gav Cardinals en 21–19 ledelse. Louisville endte opp med å tape kampen 22–21 etter et kontroversielt field goal, men Unitas ble utpekt til startende quarterback. I en 35–28 seier over Houston fullførte Unitas 12 av 19 pasningsforsøk for 240 yards og fire touchdowns. Laget avsluttet sesongen 5–5, men 4–1 med Unitas som starter. Han fullførte 46 av 99 pasningsforsøk for 602 yards og ni touchdowns.