兖州，张谠归顺北魏将领尉元，尉元表授他仍担任冠军将军和东徐州刺史，派遣中书侍郎高闾回应张谠。之后他到京师获礼遇，以功勋赐爵平陆侯，加平远将军。张谠个性开通，厚道抚恤山东人士，就算是疏族远亲都尊重对待。李敷、李䜣等权势人家亦以诚相待，从不顾忌。毕众敬、高允等人亦相当尊敬他。他在延兴四年（474年）去世，赠平南将军、青州刺史，谥康侯。