被选为五官将功曹。同年曹操西征马超等人，河间人田银和苏伯在当地叛乱，并煽动邻近的幽州和冀州，曹丕打算亲自讨平，但常林认为他们只是乌合之众，难成大器；而且曹操出征，曹丕应安守邺城，不应轻率出征。曹丕听从并派将军贾信讨平。常林后来又先后出任平原太守、魏郡东部都尉和丞相东曹属。建安十八年（213年），曹操封魏公并建魏国，常林升任尚书。黄初元年（220年），曹丕称帝，常林迁任少府，封乐阳亭侯。后又转任大司农。太和元年（227年），曹叡继位，封高阳乡侯，改任光禄勋、太常。当时有人认为常林节操廉洁高尚，应该进为三公