Etter han pensjonerte seg tidlig i 1952 tok Rymkus en stilling som line coach for Indiana University, hvor hans tidligere lagkamerat for Notre Dame Bernie Crimmins hadde blitt ansatt som hovedtrener. Ett år senere flyttet han nordover for å bli assistenttrener under tidligere hovedtrener for Rams Bob Snyder for Canadian Football Leagues Calgary Stampeders. I 1954 var han tilbake i NFL, da som line coach for Green Bay Packers. I løpet av fire sesonger med laget jobbet han blant annet med de fremtidige Hall of Famerne Forrest Gregg og Jim Ringo.