Como adolescente y a principios de 1991, se unió a la lucha armada contra el régimen marxista-leninista de Mengistu Haile Mariam, después de la muerte de su hermano mayor. Lo hizo como miembro del ODP (Partido Demócrata Oromo), que en ese momento era una organización pequeña de solo unos 200 combatientes en el gran ejército de coalición de unos 100.000 combatientes, y ese mismo año cayó el régimen. Como sólo había tan pocos combatientes PAO en un ejército con su núcleo de alrededor de 90.000 tigrayanos, Abiy rápidamente tuvo que aprender el idioma tigriño. Como orador de tigriño en un aparato de seguridad dominado por tigrayanos, podría avanzar en su carrera militar.