知其贤能，强使其出仕。咸丰七年（1857年），代理湖南湘乡知县，政绩卓着，不久因父丧卸任。因鄱阳已被太平天国佔据，故举家移居湘乡。曾国藩筹办浙江军务，曾亲自登门，请其参与军事，婉辞不就。
军旅.咸丰九年（1859年）春，太平军石达开部进兵湖南，淳熙应骆秉章征召，募集乡勇一千六百人，协防长沙。石达开部由宝庆转战岭东，分兵攻江华，淳熙赴援，击败太平军将领何文彪等，进而追击至江蓝厅敌营。同年九月，驰军百余里，在湖南、广东交界的牛尾岭、杉木根、黄马寨等地焚毁敌营，歼灭赖裕新部。因功晋升知府