Rymkus ble født i Royalton i Illinois og vokste opp i Chicago. Han utmerket seg som en lineman i high school og fikk et idrettsstipend til University of Notre Dame. Der spilte han for det ubeseirede laget i 1941 under hovedtrener Frank Leahy. I 1943 ble han draftet av NFLs Washington Redskins, og spilte for dem i én sesong før han vervet seg til marinen under andre verdenskrig. Etter to år i tjenesten signerte han kontrakt med Browns, og ble med det laget ut spillerkarrieren. Paul Brown, Browns’ første trener, beskrev Rymkus som «the best pass protector I've ever seen»" Rymkus’ evne til å blokkere ble brukt som et eksempel på riktig form av flere andre trenere.