父裴叔业归附北魏，在半路上去世，因此裴谭继承了祖父的爵位兰陵郡公。裴谭粗鲁凶残，喜欢杀戮，所乘骑的牛马只要稍有惊吓逃窜，就亲手杀掉，但是裴谭孝敬诸位叔父，能尽子侄之道，兰陵郡公的俸禄和收入总是用来接济诸位叔父，世人以此称赞他。魏宣武帝元恪任命裴谭以及皇后高英的弟弟高贞、王肃的儿子王绍一起担任太子洗马。魏孝明帝元诩继位后，裴谭转任员外常侍，又升任中坚将军、冠军将军、中散大夫。正光五年九月十九日（524年10月31日），裴谭在洛阳县洛汭里私人住宅中去世，虚岁三十三，朝廷赠予平南将军、豫州刺史，谥号敬。孝昌元年十