Mengistu var opprinnelig en av de mindre viktige blant offiserene som grep makten og styrtet keiser Haile Selassie I. Etter statskuppet i 1974 ble han sendt fra Harar til hovedstaden Addis Abeba for å representere Tredje divisjon, men maktet i tiden fra juli til september 1974 å bli et av de mest innflytelsesrike medlemmene av Derg, gruppen av nye militære makthavere. Mengistu anses som en hovedmann bak den etiopiske røde terror i årene 1977 til 1978, da det ble satt i verk en undertrykkelseskampanje mot medlemmer av Etiopias revolusjonære folkeparti og opposisjonelle fra andre partier.