。绍治五年（1845年），改授鸿胪寺卿，充如清副使，回国后任刑部京章司郎中，兼掌大理寺。嗣德元年（1848年），升任山西按察使，后升清化布政使。召还回朝，改任礼部左侍郎。嗣德五年（1852年），范芝香充任如清正使，出使清朝。当时是两贡竝进，范芝香与潘辉泳同行。因恰逢中国爆发太平天国起义，局势动荡，范芝香一行人在中国境内滞留3年才回到国内。回国后，升工部右参知，充国史馆纂修，兼掌都察院。嗣德十三年（1860年），因执掌都察院期间少有进言，贬为工部右侍郎。次年（1861年），前往北圻勘测天德江大堤。不久授谅