服勤辞学科，补泰宁军（今山东省济宁市兖州区）节度推官，改任秘书省着作佐郎。历任知寿阳县、监左藏库。天禧年间，召试，直集贤院。宋仁宗即位，转任太常博士、三司户部判官；预修《真宗实录》，转任祠部员外郎、提举在京诸司库务；以本官知制诰、同判吏部流内铨、右谏议大夫权御史中丞。是年饥荒，奏请停止土木营造，免除受灾州县租赋。当时，刘太后听政，程琳献《武后临朝图》。转任枢密直学士，知益州（今四川省成都市）。回京担任给事中、知开封府。长于政事，断狱听讼不避权贵。后又转任三司使，能尽职守，“禁中有所取，辄奏罢之”。改任吏