素来不设防备。辅国将军臧质奉命救彭城，以冗从仆射胡崇之、积弩将军臧澄之屯东山。拓跋谭造了数十木筏，潜军而济，攻胡崇之等三营。宋军惊溃，臧质按兵不敢救，拓跋谭军遂斩胡崇之，此役杀死宋军万余兵士，淮南皆降。二年（452年）改封为临淮王。《宋书》称其首倡杀宗爱、拥立文成帝拓跋濬事。同年拓跋谭薨，以宣王为谥。同日其弟拓跋建亦死亡，故后世多认为兄弟二人系为侄文成帝所铲除，而史书讳言之。