Sous le Second Empire, il participe à toutes les guerres menées par Napoléon III. Lieutenant-colonel au début de la guerre d'Orient, il est colonel du Léger et se distingue à l'assaut du Mamelon Vert en Crimée puis à la bataille du pont Traktir. Son courage lui vaut de nombreuses citations et décorations. Général de brigade en Italie, on lui confie le des zouaves et la légion étrangère; il s'illustre particulièrement au cours de la bataille de Magenta où le général Espinasse est tué à ses côtés en chargeant à la tête de troupes complètement désorganisées. Il entre le premier dans le bourg de Magenta. Le Mexique lui fournit l'occasion de montrer encore une fois ses qualités militaires, d'abord au cours du siège de Puebla. Mais c'est surtout dans l'organisation de ses marches vers Monterrey, puis à travers la Sierra Madre vers Mazatlan qu'il se fait remarquer. Devenu général de division (1864), il est chargé par Maximilien du Grand-commandement du Nord-Ouest et est envoyé en enfant perdu dans les solitudes de la Sonora et du Sinaloa, avec des effectifs manifestement trop faibles. Pur produit d'Afrique, Castagny pratique la contre-guérilla, et est contraint à une répression sévère à l'encontre des bandits qui se proclament de Juarez, afin de désolidariser ceux-ci de la population locale terrorisée. Il incendie notamment la ville de Saint Sébastien et fait fusiller Nicolás Romero et ses compagnons. Il applique aussi une politique indigéniste à l'égard des Indiens, se faisant l'instrument de la diplomatie française qui cherche à obtenir la concession pour le compte de l'empire français des gisements de métaux précieux de la basse-Californie.