他的父亲李承祖为表左武卫将军和袭蔡国公。 李之芳有令誉，开元末为驾部员外郎。745年尚书郞和出任齐州司马、后安禄山表奏他为范阳司马。安禄山反，自己逃回京师。授右司郎中，历任工部侍郎、太子右庶子、宗正卿。广德初年（763年），唐代宗诏命他兼御史大夫出使吐蕃，被留二年乃得回国。后拜礼部尚书，改太子宾客。其子奉天皇帝庙丞李伫。768年秋逝世，死因和年龄不祥。