Den 9. januar 1958 tok Rymkus en stilling som assistenttrener for Rams. Navnet hans hadde også kommet opp som en mulig kandidat for å erstatte Lisle Blackbourn som hovedtrener for Packers, men ble da droppet til fordel for Ray McLean. Han jobbet under Sid Gillman for Rams i to sesonger, og ble i perioden sett på som en mulig hovedtrener. Los Angeles Chargers i den nye ligaen American Football League (AFL) vurderte å ansette ham i 1959; Leahy, Rymkus’ trener da han spilte for Notre Dame, var lagets general manager. Chargers endte opp med å velge Gillman, og i januar 1960 ble Rymkus ansatt som hovedtrener for AFLs Houston Oilers. Oilers’ eier Bud Adams signerte ham til en 3-årig kontrakt med en årslønn på $15 500.