颜异提出了不同看法：「今王侯朝贺以苍璧，直数千，而其皮荐反四十万，本末不相称。」武帝大不高与。酷吏张汤本与颜异有仇隙，后来有人告发颜异反政府，武帝让张汤审理颜异一案。张汤查出，颜异与宾客交谈，宾客批评政府，颜不回答，但稍微动了一下嘴唇，张汤就说这就是腹诽（在心中诽谤），所以判处死刑。