人于微，降臣隐蕃以辩才而令豪杰向他交好，潘濬之子潘翥也跟他结交，潘濬知道后，写信痛骂儿子一顿，当时的人都觉得潘濬莫名其妙，直到隐蕃图谋叛变被杀，众人才信服。235年，潘濬的表哥蒋琬升任蜀汉大将军，有间谍谣传潘濬派遣密使联络蒋琬，打算投奔蜀汉。武陵太守卫旌上表告诉孙权，孙权说：「承明不会做这种事。」并且免除卫旌官位。孙权宠信校事吕壹，吕壹为人刻薄，用法严酷，又操弄权势，潘濬与陆逊对于他的作为有所忧虑，说到伤心处还以泪洗面，感到不安恐惧。吕壹门客犯法，被建安太守郑冑收押并且烤问至死，吕壹怀恨在心，诽谤郑