拜他为散骑常侍，兼任中书舍人，仍然任官黄门侍郎，领天保博士，掌管仪礼，如同帝师入朝讲授，非常尊宠。当时陈顼辅政，华皎举兵谋反，顾越请假回乡时被或陈顼诬陷煽动藩镇，被免官。太建元年（569年），他在家中去世，虚岁七十七。他的孙子顾胤是唐朝的起居郎，曾孙顾琮则是宰相。