Fra 1935 til 1936 under den Anden italiensk-abessinske krig havde Graziani kommandoen over den sydlige front. Hans arme invaderede Etiopien fra Italiensk Somaliland og han ledede de italienske styrker i Slaget om Genale Doria og slaget om Ogaden. Grazianis indsats i syd stod i skyggen af hovedinvasionen, som foregik fra Eritrea under ledelse af general Emilio De Bono og fortsatte under Marskal Pietro Badoglio. Det var Badoglio og ikke Graziani som indtog Addis Ababa i triumf efter hans "Jernviljens march". Men det var den hensynsløse Graziani som sagde: "Il Duce får Etiopien, med eller uden etioperne."