Andrea, der als einziger in der Familie die militärische Laufbahn einschlug, besuchte die Militärakademie in Modena, die er 1882 als Leutnant der Infanterie abschloss. Anschließend wurde er zu den Bersaglieri versetzt. 1885 schiffte er sich mit dem italienischen Expeditionskorps nach Massaua in Eritrea ein und nahm anschließend am Eritreakrieg teil. Nach seiner Rückkehr nach Italien 1887 besuchte er zwei Jahre lang die Kriegsschule in Turin. 1894, mittlerweile zum Hauptmann aufgestiegen, wurde Graziani zu den Alpini (6. und 2. Alpini-Regiment) versetzt. Danach wechselte er mehrmals die Einheiten und Aufgabenbereiche. Er war Stabsoffizier im Divisionskommando von Ancona, kurz im Kriegsministerium und von 1899 bis 1906 im Divisionskommando in Verona tätig. Von 1906 bis 1098 übernahm der 1904 zum Major beförderte Graziani ein Lehramt an der Kriegsschule in Turin.