阳已被太平天国佔据，故举家移居湘乡。曾国藩筹办浙江军务，曾亲自登门，请其参与军事，婉辞不就。
军旅.咸丰九年（1859年）春，太平军石达开部进兵湖南，淳熙应骆秉章征召，募集乡勇一千六百人，协防长沙。石达开部由宝庆转战岭东，分兵攻江华，淳熙赴援，击败太平军将领何文彪等，进而追击至江蓝厅敌营。同年九月，驰军百余里，在湖南、广东交界的牛尾岭、杉木根、黄马寨等地焚毁敌营，歼灭赖裕新部。因功晋升知府，等候补缺。咸丰十年（1860年），率师防堵永州、道州、绥宁、靖州等地，连战连捷。十一月，追剿