Devine var startet sin paramilitære karriere i Den offisielle IRA, men gikk i 1975 over til INLA. I september 1976 ble han og to andre INLA-medlemmer, Desmond Walmsley og John Cassidy, pågrepet med rifler, hagler og 3000 runder ammunisjon som de hadde stjålet i Lifford i Donegal. Han ble i 1977 dømt til tolv års fengsel for grovt tyveri og innehav av våpen.