（被属下揭发其子高表仁比拟作司马懿），原本杨广就对高颎擅自将张丽华斩首之事怀恨在心，视为眼中钉，肉中刺，必欲除之而后快，这次废太子之事，更让杨广对高颎恨之入骨。开皇十九年（599年）免官，不久齐国公的爵位也被废掉。
失言被杀.隋炀帝时，被起用为太常卿。大业三年（607年）炀帝至榆林（今内蒙古托克托西南），为了招待突厥来使，炀帝下令宇文恺制作下面可容3000人的帐蓬，立于城东，高颎等老臣对炀帝的奢侈，甚为忧虑，有所非议，高颎跟太常丞李懿说：“周天元以好乐而亡，殷鉴不远，安可复尔！”高