På slutten av 1960-tallet flyttet Guelleh til Djibouti fra Etiopia før han fullførte den videregående skolen. Han ble senere med politiet og ble utnevnt til junior underoffiser. Etter at Djibouti ble et selvstendig land, ble Guelleh leder for det hemmelige politiet og sjef for regjeringen i regjeringen til onkelen hans, president Hassan Gouled Aptidon.