更将选曹尚书一职让给顾谭。赤乌六年（243年），祖父顾雍逝世，数月后顾谭成为太常，代替顾雍的尚书职务。顾谭因为向孙权进言，要求明辨嫡庶之分而与孙霸交恶。全琮子全寄寄居孙霸府上，也因此和顾谭有隙。最初，241年芍坡之战后，全琮父子因不满封赏偏颇张休顾承等人，向朝廷进谗言并牵连顾谭。孙权看重顾谭的才能，本欲让他道歉而释放他。顾谭却在公开场合指责孙权，按大不敬罪本当处死。孙权看在其祖父顾雍的份上不做追究。赤乌八年（245年）顾谭最终被流放交州。顾谭在交州怨愤而作《新言》二十卷。流放第二年（246年）逝