I mellomtiden hadde Swindin returnert til Arsenal i 1958 som manager, og laget hans startet sterkt med en tredjeplass i 1958-59. Men laget tapte seg raskt og tilbrakte de tre neste sesongene mist på tabellen. På tross av signeringene av spillere som George Eastham og Tommy Docherty, så klarte ikke Swindin å bringe titler til Highbury. Men lenger opp i veien så tok lagets store rival Tottenham Hotspur the Double i 1961.