慕容白曜伐青州、齐州，梁邹城降，十六岁的刘芳被俘往平城（今山西省大同市），成为平齐民，地位低下。然而，他洁身自好，发奋读书，虽生活贫困，白天只能为人抄书以自给，但夜晚仍笃志读书，穷经不寝，并着有《穷通论》。刘芳被宦官李丰推荐给冯太后，担任主客郎接待齐武帝使者刘缵。后为中书博士，与邢产教授皇太子经书，转任太子庶子，兼员外散骑常侍。刘芳才思敏捷，博闻强记，擅长礼仪制度、音韵训诂、辨析理义。被魏孝文帝所赏识。跟从魏孝文帝迁都洛阳，转任国子祭酒。齐明帝大将裴叔业攻打徐州，他为徐州大中正，代理徐州事。刘芳学问博雅