竣不安。颜竣因而对亲戚故友都表现出他的怨愤，又说朝政的荒谬错事，皇帝的得失。大明二年（458年），王僧达因高阇作乱而为孝武帝借故诛杀，但僧达认为是颜竣进谗言害他，临死对将颜竣说过怨愤及不满孝武帝不听谏言的说话说出来。孝武帝发现僧达说的其实有根据，故此命御史中丞庾徽之上奏弹劾颜竣。不过，孝武帝当时并不是想杀他，只免去其官职，不过颜竣却频频谢罪，更乞全性命，这样反弄得孝武帝愤怒，下诏斥责他。大明三年（459年），竟陵王刘诞据广陵起兵反抗孝武帝，孝武帝终以此事诬陷颜竣，再命庾徽之上奏弹劾，然后自己下诏于狱中赐