Gillman var usikker på om han ville ta fatt på en spiller- eller trenerkarriere etter college, og Boston Redskins tilbød ham en kontrakt mens Williams ønsket å ansette ham som end coach for Western Reserve University. Han deltok i det første Chicago College All-Star Game som gjorde at han ankom Redskins’ treningsleir sent, og endte opp med å ikke bli inkludert på laget. Han spilte i den andre American Football League i en sesong for Cleveland Rams. Han tok deretter stillinger som assistenttrener på Denison University og Ohio State University og var en assistenttrener under Earl Blaik på United States Military Academy før han ble hovedtrener på Miami University og University of Cincinnati. Han var trener i college i 21 år, og hadde et sammenlagresultat på 79–18–2 som hovedtrener i perioden.