Miller var en assistenttrener under Lou Saban på Western Illinois på slutten av 1950-tallet før han fulgte Saban til Boston Patriots i den nye American Football League (AFL) i 1960. Han var også en assistenttrener for Buffalo Bills (1962), Denver Broncos (1963–1965), St. Louis Cardinals (1966–1970), Baltimore Colts (1971–1972) og New England Patriots (1973–1976) før han returnerte til Broncos som hovedtrener.