Podczas drugiej wojny światowej walczył w Grecji, ZSRR i podczas kampanii włoskiej. Jego syn Bruno zginął podczas walk w ZSRR w 1942 roku. W 1943 r. Carloni otrzymał Złoty Krzyż Niemiecki. Po kapitulacji Włoch uwięziony przez Niemców, dołączył jednak później do armii Włoskiej Republiki Socjalnej, gdzie został dowódcą 4 Dywizji Alpejskiej „Monterosa”.