Mobilisé pour la campagne d'Italie, il y sert sous les ordres du maréchal Niel et à la suite de la bataille de Solférino, le , Charles d'Argy est nommé colonel du de ligne qu'il suit en garnison à Besançon. Devenu rapidement une personnalité de la ville, il contribue à son développement sportif en y remettant - entre autres - la pratique du tir à l'arc au goût du jour tant dans les milieux civils que militaires.