A finales de la década de 1920, siendo vicegobernador de la provincia Cirenaica, dirigió la acción del ejército italiano en Libia contra la revuelta independentista liderada por Omar Al-Mukhtar. Si la campaña en Tripolitania había resultado relativamente rápida y sencilla, las operaciones en Cirenaica se encontraron con una gran resistencia de la población local. Durante la llamada «pacificación» de Libia, Graziani fue el responsable de la construcción de numerosos campos de concentración y campos de trabajo, donde fallecieron miles de libios que habían sido hechos prisioneros. También se recurrió al bombardeo aéreo de las poblaciones libias con gases químicos. Estos hechos le llevaron a ser conocido entre los árabes por el apodo de "Carnicero de Fezzan". A pesar de las dificultades, los libios organizaron una efectiva guerra de guerrillas contra el Ejército italiano durante varios años. Sin embargo, Omar Al-Mukhtar fue finalmente vencido, capturado y ejecutado en septiembre de 1931.