Graziani memainkan peranan yang penting dalam penyatuan dan pengembangan empayar penjajahan Itali semasa tahun 1920-an dan 30-an, mula-mula di Libya dan kemudian di Etiopia. Beliau menjadi terkenal dengan langkah-langkah penindasan yang membawa kepada kehilangan nyawa yang banyak di kalangan orang awam. Pada bulan Februari 1937, selepas cubaan membunuh dalam satu majlis di Addis Ababa, Graziani meluluskan tempoh pembalasan kejam yang kini dikenali sebagai Yekatit 12. Tidak lama selepas Itali menyertai Perang Dunia II beliau kembali ke Libya sebagai komander tentera di Afrika Utara Itali tetapi meletakkan jawatan selepas serangan British mengalahkan tenteranya. Susulan dari peristiwa rampasan kuasa "25 Luglio", beliau adalah satu-satunya Marsyal Itali yang kekal setia kepada Mussolini dan dinamakan Menteri Pertahanan Republik Sosial Itali, memerintah tenteranya dan kembali ke perkhidmatan aktif menentang Pihak Berikat.