熙为人刚直，不苟言笑，因遇事据理力争，不肯屈就，难合于时，故称病辞职闲居，闭门读书。咸丰三年（1853年），湖南巡抚骆秉章知其贤能，强使其出仕。咸丰七年（1857年），代理湖南湘乡知县，政绩卓着，不久因父丧卸任。因鄱阳已被太平天国佔据，故举家移居湘乡。曾国藩筹办浙江军务，曾亲自登门，请其参与军事，婉辞不就。
军旅.咸丰九年（1859年）春，太平军石达开部进兵湖南，淳熙应骆秉章征召，募集乡勇一千六百人，协防长沙。石达开部由宝庆转战岭东，分兵攻江华，淳熙赴援，击败太平军将领何文彪等，进