昌子。他年少时学骑射，奔驰冰雪间，马逸，坠入崖下，人以为死，竟无伤痕。年长好学，举进士。大中祥符元年（1008年），尚宋太宗女万寿长公主（随国长公主），授左龙武军将军、驸马都尉。出知澶州，黄河大水，遵勖督工筑堤，仅七天完工。迁昭德军节度观察留后，累迁宁国军节度使，徙镇国军节度使，知许州，极力整顿水军。宋仁宗天圣年间，奏请章献皇太后拆帘还政于仁宗。尝疏论时政。宝元元年（1038年）李遵勖卒，年五十一，赠中书令，谥号和文。他通晓佛学，曾参谒谷隐，问出家事，谷隐以崔赵公问径山公案回答，于言下大悟，作偈“学道须是铁