Gillman spilte amerikansk fotball som en end da han gikk på Ohio State University fra 1931 til 1933. Han spilte kun én sesong på profesjonelt nivå med Cleveland Rams i den andre American Football League. Etter å ha jobbet som assistenttrener for Ohio State fra 1938 til 1940 ble Gillman utnevnt hovedtrener for Miami University fra 1944 til 1947 og for University of Cincinnati fra 1949 til 1954, for et sammenlagtresultat i college football som hovedtrener på 81–19–2. Han gikk deretter over til profesjonelt nivå hvor han ledet NFLs Los Angeles Rams (1955–1959), American Football Leagues Los Angeles og San Diego Chargers (1960–1969) og NFLs Houston Oilers (1973–1974), for et sammenlagtresultat på 123–104–7 i National Football League og American Football League. Gillmans vant ligatittelen i AFL med 1963.