因为立功转任供备库副使。宋太祖建隆元年（960年）李崇矩参加平定李筠、李重进之乱有功。干德二年（964年）赵普为宰相，李崇矩代替赵普担任枢密使，因为与赵普联姻，使宋太祖感到不满。开宝五年（972年）出任镇国军节度使。开宝六年（973年）入为左卫大将军。宋太宗太平兴国二年（977年）担任邕州、贵州、浔州、宾州、横州、钦州六州都巡检使，转任琼州、崖州、儋州、万州四州都巡检使，回京后，担任右千牛卫上将军。雍熙三年（986年）判右金吾街仗兼六军司事。端拱元年（988年）李崇矩去世，谥元靖。其孙李遵勖。