武军将军、驸马都尉。出知澶州，黄河大水，遵勖督工筑堤，仅七天完工。迁昭德军节度观察留后，累迁宁国军节度使，徙镇国军节度使，知许州，极力整顿水军。宋仁宗天圣年间，奏请章献皇太后拆帘还政于仁宗。尝疏论时政。宝元元年（1038年）李遵勖卒，年五十一，赠中书令，谥号和文。他通晓佛学，曾参谒谷隐，问出家事，谷隐以崔赵公问径山公案回答，于言下大悟，作偈“学道须是铁汉，着手心头便判，直趣无上菩提，一切是非莫管。”与杨亿、楚圆慈明禅师为法门好友。有《闲宴集》二十卷、《外馆芳题》七卷，今不传。一说济公即他的后人。