Rymkus ble født i Royalton i Illinois til en litauisk gruvearbeider som eide en liten dagligvarehandel. Etter at faren ble skutt og drept utenfor dagligvarehandelen flyttet Rymkus og familien til sørsiden av Chicago. På grunn av økonomiske problemer måtte Rymkus ta på seg forskjellige jobber, inkludert ved å levere aviser og dagligvarer. Rymkus tok råd fra en venn og gikk på Tilden Tech, nå Tilden High School, og fikk vist seg frem som en lineman med talent på skolelaget. Han blokkerte et spark og scoret en touchdown i en kamp mot rivalene Austin High i Soldier Field i 1936, et play han selv har beskrevet som det mest minneverdige fra hans tid i high school. Som senior slo han Rudy Mucha for prep-school-tittelen i bryting i Chicago.