Toisen maailmansodan alkuvaiheessa Graziani komensi Libyassa Italian 10. armeijaa. Benito Mussolinin julisti sodan liittoutuneille alkukesästä 1940, ja syyskuussa Graziani aloitti hyökkäyksen Egyptiin. Graziani itse epäili huonosti varustetun armeijansa mahdollisuuksia motorisoituja brittiläisiä joukkoja vastaan, ja alkumenestyksen jälkeen italialaiset joutuivatkin vetäytymään takaisin Libyaan. Graziani erosi virastaan vuonna 1941.