Etter å ha inngått en muntlig avtale om en kontrakt for neste sesong valgte Lemm heller å trekke seg 22. februar 1962 til fordel for stillingen som hovedtrener for Cardinals, en avgjørelse han tok basert på at laget lå nærmere hans eget hjem i Lake Bluff i Illinois. Han erstattet Pop Ivy, som tok stillingen Lemm forlot i Houston. Etter å ha gått 4–9–1 i hans første sesong kom Lemm nær å sikre NFLs Eastern Conference-tittel med et sesongresultat på 9–5 i 1963 og 9–3–2 året etter. Etter å ha signert en kontrakt med en stor lønnsøkning falt Cardinals til et sesongresultat på 5–9 i 1965. Lemm ble allikevel bedt om å forbli med laget på fulltid, men den 10. januar 1966 valgte han å slutte. Bare 19 dager senere var han tilbake til sin gamle jobb i Houston.