Etter Lemms ene år i Waukesha tok Carrolls tidligere trener Breen stillingen som hovedtrener på Lake Forest College. Lemm jobbet under ham i de neste tre årene, og var også hovedtrener for skolens basketballag, frem til han erstattet Breen i 1952. I løpet av hans to sesonger gikk laget 11–4–1, før han tok en stilling som hovedtrener på Montana State University. Et sesongresultat på 8–1 i 1954 ble fulgt av et resultat på 4–4–1 året etter. Den 14. mai 1956 nådde han National Football League (NFL) da han tok en stilling som en forsvarsassistent med Chicago Cardinals.