饶恕常林叔父。后来常林又依附在上党郡的前河间太守陈延壁。当地陈、冯二姓都是以前的富贵豪族，上党太守张杨贪图二家的女子和财宝，出兵围困他们；常林带领他的宗族，为他们两姓人划策，最终被围困六十日后解围，他们两族都没有损失。常林之后因战乱避居并州，并州刺史高干本来打算表常林为骑都尉，常林辞让不接受。高干叛乱被曹操平定后，梁习上任并州刺史，推举州内名士，常林和杨俊、王象、荀纬和王凌等都获举荐，曹操将常林任命为南和县长。后因为在南和有治绩，先后获提拔为博陵太守和幽州刺史，亦都有治绩。建安十六年（211年），曹丕获