La carrera militar de Mengistu comenzó a inicios de la década de 1960, cuando ingresó en la Academia Militar de Oletta, una de las dos academias militares de Etiopía, de la cual egresa en 1966.