Abiy wuchs in seinem Geburtsort Beshasha auf, wo er die Grundschule besuchte und seine Familie hohes Ansehen genossen haben soll. Er besuchte die Sekundarschule in der nahe gelegenen Stadt Agaro. Sein Vater wurde unter der Herrschaft der Derg inhaftiert. Abiys Jugend soll stark vom Sturz des Staatschefs Mengistu Haile Mariam im Mai 1991 geprägt worden sein. Beim folgenden Aufstand wurde sein ältester Bruder getötet. Abiy schloss sich mit 15 Jahren der politischen Fraktion Demokratischen Organisation des Oromovolkes (OPDO) an, die sich innerhalb der Revolutionären Demokratischen Front der Äthiopischen Völker (EPDRF) für die Belange des Oromo-Volks einsetzt. 1993 trat er der äthiopischen Armee bei, wo er eine technische Ausbildung erhielt und in Fernmeldeeinheiten eingesetzt wurde. Abiy diente 1995 als Teil einer UN-Friedensmission in Ruanda sowie im äthiopisch-eritreischen Grenzkrieg (1998–2000) und soll in die Offiziersränge aufgestiegen sein. Ab den 2000er-Jahren machte er sich in seiner Heimatregion einen Namen als Vermittler zwischen Christen und Muslimen. Während seiner Zeit beim Militär absolvierte Abiy erfolgreich ein Bachelor-Studium in Computer- und Kommunikationstechnik (2001) sowie ein Aufbaustudium in Kryptographie im südafrikanischen Pretoria (2005).