武帝时期.景明初年，元遥出任平西将军、泾州刺史。元遥因为生母去世，上表请求解除职务，魏宣武帝诏令以非直系亲属的余尊厌，不准许。元遥很快被征召出任七兵尚书，又升任中领军，在任内受到称职的赞誉。正始三年五月，南梁进攻北魏，五月壬午（506年6月24日），魏宣武帝元恪诏令尚书元遥率领军队前往讨伐。永平元年（508年）至延昌元年（512年）之间，元遥出任镇东将军、冀州刺史。元遥在冀州以胡人没有籍贯，无法分辨奸人和好人，命令所有胡人都设置籍贯。元遥又以胡人们设置了籍贯，就应该交税，以充实军费。胡人们不愿交税，就共同