Como adolescente no início de 1991, aderiu à luta armada contra o regime marxista-leninista de Mengistu Haile Mariam após a morte de seu irmão mais velho, como membro do ODP (Partido Democrata Oromo), que nesse momento era uma organização pequena de só uns 200 combatentes no grande exército de coalizão de uns 100.000 combatentes que resultou na queda do regime nesse mesmo ano. Como só tinha tão poucos combatentes PAO num exército com seu núcleo de ao redor de 90.000 tigrayanos, Abiy rapidamente teve que aprender o idioma tigriño. Como orador de tigriño num aparelho de segurança dominado por tigrayanos, poderia avançar em sua carreira militar.