Han ble signert av Billy Wrights Arsenal i 1964, men han fikk brudd i benet i en kamp mot Blackpool FC, og ble aldri bra nok til å komme tilbake på førstelaget. Han gav seg som aktiv og ble trener på Arsenals reservelag under Bertie Mee, for så å rykke opp til førstelagstrener etter at Dave Sexton forlot klubben i 1968. Arsenal vant «the Double» i 1971 og Howe var en viktig brikke i den triumfen, men han forlot snart klubben for å bli manager i West Bromwich Albion.