望之乃当时着名之经学家，能通达五经，是今文经《齐诗》、《论语》的知名学者。汉宣帝时，曾被丙吉推荐给大将军霍光，但由于望之看不惯霍光的倨傲，所以得不到霍光的重用。望之以儒家经典教授太子（即汉元帝）。反对封冯奉世为侯，建议和亲乌孙，善待归附的匈奴唿韩邪单于。甘露三年（前51年），在长安未央宫殿北石渠阁皇家图书馆，召集诸儒讲《五经》同异，并加评议。汉元帝即位后，以前将军光禄勋，领尚书事辅佐朝政，甚受尊重。后遭宦官弘恭、石显等诬告下狱，愤而自杀。
纪念.福建泉州富美宫奉