Castenskiold var en søn af officeren Christian Castenschiold og blev kadet 1833. Efter at være afgået fra Landkadetakademiet som sekondløjtnant med aldersorden fra 1. april 1834 ansattes han ved det sjællandske lansenerregiment (det senere 4. dragonregiment), hvorved han forblev efter at være udnævnt til karakteriseret premierløjtnant i 1841. Under felttoget 1849 var Castenskiold ansat ved gardehusardivisionen Torp, hvormed han deltog i slaget ved Fredericia. Under slaget ved Isted var han ansat ved 4. dragonregiment og fik her lejlighed til at udmærke sig, i det han gjorde et indhug på fjendtlige tiraillører, som fra Øvre Stolk truede batteriet Baggesen. Han såredes ved denne lejlighed, fik en hest skudt under sig og måtte give sig til fange. 1850 blev han Ridder af Dannebrog.