Caviglia absolvierte an der Militärakademie in Turin eine Offiziersausbildung. Im Jahr 1883 wurde er zum Unterleutnant befördert und diente dann bei verschiedenen Artillerieverbänden. Von 1904 bis 1911 war er italienischer Militärattaché in Tokio und Peking. Er diente in Italienisch-Ostafrika und nahm am italienisch-türkischen Krieg teil.