崇信佛教而虚耗过多金钱。而何充因为顾众是扬州地望，于是优厚的对他。顾众不久就以年老而上请退休，但不被允许，后迁尚书仆射。永和二年（346年），顾众去世，享年七十三岁。朝廷追赠光禄大夫，谥号为靖。
性格特征.顾众父亲顾祕死后，交州人拥立顾众兄顾寿为新任刺史。然而不久帐下督梁硕就起兵杀死顾寿，专掌交州。顾众当时正往交州奔丧，但因杜弢之乱，整整用了六年才回到建康。经过吴兴时，当地故友可怜他流离战祸中这么长时间，给了他二百万钱，但顾众都不接受。