Broncos gikk 4–10 i Speedies første fulle sesong som Broncos’ hovedtrener i 1965. Etter å ha startet 1966-sesongen med to nederlag sa Speedie opp, og assistenttrener Ray Malavasi tok over. Han sa selv at dette var det beste for laget. Speedie gikk 6–19–1 i løpet av sin tid som Broncos’ hovedtrener. Han tok deretter en stilling som talentspeider for laget og holdt til i Laguna Hills, California. Han holdt stillingen til han pensjonerte seg i 1982.