De la Grange deltog som major i Gustav IV Adolfs krig i Tyskland 1805-06, tillfångatogs av fransmännen i Överraskningen i Lübeck 1806. Han blev senare utväxlad, och var en av de officerare som biträdde Carl Johan Adlercreutz vid Gustav IV Adolfs arrestering 1809. Samma år blev han landshövding i Kalmar län. Under Fälttåget mot Norge 1814 blev han generalintendent och samma år utnämnd till generalmajor.