汉元帝以张谭为京兆尹，担任四年，因为不胜任免职。竟宁元年（前33年），御史大夫李延寿去世，朝中大臣举荐冯野王。汉元帝使尚书选第中二千石，冯野王行能第一。汉元帝说：“吾用冯野王为三公，后世必然说我对后宫亲属有偏私。”于是下诏：“刚强坚固，确然亡欲，说的是大鸿胪冯野王。心辨善辞，可使四方，说的是少府五鹿充宗。廉洁节俭，说的是太子少傅张谭。以太子少傅张谭为御史大夫。”于是由张谭接替担任御史大夫。汉成帝时，石显专权，张谭阿附畏事，不敢言，石显免官，张谭奏石显旧恶之事。建始三年（前30年），因为选举不实张谭被免官，尹