Der in der damals zu Äthiopien gehörigen Provinz Eritrea geborene Ghirmai kam im Alter von sechs Jahren mit seiner Familie aus dem vom Bürgerkrieg erschütterten Land nach Deutschland. Zunächst war er Hindernisläufer und wurde bereits 1995 Deutscher Jugendmeister. Nach weiteren Jugend- und Juniorentiteln gewann er 2002 erstmals im Erwachsenenbereich die deutsche Meisterschaft über 3000 Meter Hindernis und nahm an den Europameisterschaften in München teil.