承父亲杨贲之侯爵，为安平侯。他的叔叔杨恽被人告发有罪，削爵回家居住，他劝杨恽应耐心等候，朝廷或将再次任用他。杨恽不满有怨言，被马吏（管理马厩的官吏）「成」听说，上书告发，前54年，杨恽被斩。杨谭也因为杨恽之案，被连坐而免爵，贬为庶人。「成」因此功，而封为郎官。