Rymkus’ suksess i high school førte til et tilbud om idrettsstipend til University of Notre Dame, hvor han endte opp med å spille fra 1940 til 1942. I college var han kjent som en hardhendt og tøff tackle. I en kamp mot Georgia Tech i 1941 fikk Rymkus en albue i ansiktet. Han måtte sy 14 sting i overleppen, men returnerte deretter til kampen som Notre Dame vant 20–0 Notre Dame gikk ubeseiret gjennom sesongen, som også var Frank Leahys første år som lagets hovedtrener. I 1942 ble Rymkus utnevnt All-American, og i sin siste sesong på universitetet ble han utnevnt til lagets Most Valuable Player.