天启二年（1622年），李之芳出生在山东武定州，崇祯十五年（1642年）中举人。清兵入关，顺治四年（1647年）开科取士，之芳进京考中二甲进士。授浙江金华府推官。历任刑部主事、郎中，广西道、湖广道监察御史，升吏部右侍郎、兵部左侍郎兼都察院左副都御史等职。康熙十二年（1673年），以兵部侍郎身份离京总督浙江军务，参与平定耿精忠叛乱。康熙二十一年（1682年）入京任兵部尚书，调吏部尚书。康熙二十六年（1687年），授兼职文华殿大学士。次年，御史郭琇弹劾大学士明珠，称“内阁票拟，皆听明珠指挥”。明珠遭罢职后，