大明元年（457年），孝武帝以颜竣为东扬州刺史，右将军如故。颜竣这样就更忧惧无计。上任后，还母丧，孝武帝不让他离职，而让他送丧还都，也得厚待他，但这更令颜竣不安。颜竣因而对亲戚故友都表现出他的怨愤，又说朝政的荒谬错事，皇帝的得失。大明二年（458年），王僧达因高阇作乱而为孝武帝借故诛杀，但僧达认为是颜竣进谗言害他，临死对将颜竣说过怨愤及不满孝武帝不听谏言的说话说出来。孝武帝发现僧达说的其实有根据，故此命御史中丞庾徽之上奏弹劾颜竣。不过，孝武帝当时并不是想杀他，只免去其官职，不过颜竣却频频谢罪，更乞全性命，这