有胡人都设置籍贯。元遥又以胡人们设置了籍贯，就应该交税，以充实军费。胡人们不愿交税，就共同诬陷元遥，说元遥受贿得到了金子和马匹。御史调查罪证，事情与胡人们所说的相同，元遥被定罪免职。元遥不断的上诉伸冤，魏宣武帝敕令有关部门重新追究，元遥才被昭雪，回朝出任护军，加右光禄大夫。延昌三年十一月，司徒高肇作为主帅讨伐川蜀，十一月乙卯（514年12月12日），中护军元遥出任征南大将军、都督南讨诸军事率兵前往南方，配合伐蜀作战，魏宣武帝征召杨大眼出任太尉长史、持节、署理平南将军、东征别将，隶属元遥。延昌四年（515年）