Devine startet karrieren som lærling i Arsenal i 1974 sammen med andre unge irer som Liam Brady, David O'Leary og Frank Stapleton, og fikk sin debut 22. april 1978. Han spilte i Arsenal fram til 1983 før han gikk til Norwich og senere til Stoke. Etter å ha slitt med skader en periode var karrieren på topp-nivå over. De siste årene spilte han for klubber som Start, Shamrock Rovers og indiske East Bengal.