I 1960 ble han ansatt som end coach for Houston Oilers i AFL. Oilers vant ligatittelen det året, men Speedie forlot laget i 1961 etter at lagets hovedtrener og Speedies tidligere lagkamerat Lou Rymkus fikk sparken. Han tok en jobb som assistenttrener for AFLs Denver Broncos og ble forfremmet til hovedtrener i 1964, men klarte ikke å oppnå suksess i løpet av to år med laget. Han valgte å trekke seg i 1966 og tok heller en stilling som talentspeider, hvor han forble frem til 1982. Den 15. januar 2020 ble det annonsert at Speedie var et av årets nye medlemmer av Pro Football Hall of Fame.