欲除之而后快，这次废太子之事，更让杨广对高颎恨之入骨。开皇十九年（599年）免官，不久齐国公的爵位也被废掉。
失言被杀.隋炀帝时，被起用为太常卿。大业三年（607年）炀帝至榆林（今内蒙古托克托西南），为了招待突厥来使，炀帝下令宇文恺制作下面可容3000人的帐蓬，立于城东，高颎等老臣对炀帝的奢侈，甚为忧虑，有所非议，高颎跟太常丞李懿说：“周天元以好乐而亡，殷鉴不远，安可复尔！”高颎觉得炀帝给突厥人赏赐过份，跟太府卿何稠说：“此虏颇知中国虚实，山川险易，恐为后患。”礼部尚书宇文弼私