被征召出任七兵尚书，又升任中领军，在任内受到称职的赞誉。正始三年五月，南梁进攻北魏，五月壬午（506年6月24日），魏宣武帝元恪诏令尚书元遥率领军队前往讨伐。永平元年（508年）至延昌元年（512年）之间，元遥出任镇东将军、冀州刺史。元遥在冀州以胡人没有籍贯，无法分辨奸人和好人，命令所有胡人都设置籍贯。元遥又以胡人们设置了籍贯，就应该交税，以充实军费。胡人们不愿交税，就共同诬陷元遥，说元遥受贿得到了金子和马匹。御史调查罪证，事情与胡人们所说的相同，元遥被定罪免职。元遥不断的上诉伸冤，魏宣武帝敕令有关部门重新