之父为诸生，在本地教书为业，且精通医术，救人甚众。李森自幼聪颖，少年补为生员，学习经学，兼通天文、地理、筮算等书，特别精于《易经》。道光十五年（1835年）乙未科乡试中举人，道光二十七年（1847年）考中丁未科张之万榜三甲第一名进士。与徐树铭、李鸿章、沈葆桢、马新贻等同年。朝考后分至广西任思恩县（今环江毛南族自治县）知县，方才就任即访问乡里，体察民情，并上书万余言，得到时任广西巡抚郑祖琛器重。任内革除积弊，提倡恢复环江书院，深受士民爱戴。道光二十九年（1849年），分校己酉科乡试。不久，适逢反清起事，李森以