将、暨阳子拓跋可悉陵曾孙。北魏末年元文遥辞去太尉东阁祭酒而隐居林虑山，至东魏末年被征为大将军府功曹。北齐建立，迁中书舍人，不知原由被监禁数年。历官侍中、尚书左仆射，封宁都郡公。元文遥明达世务，曾改革县令任用制。宣读诏书时，“声韵高朗，发吐无滞”。与赵彦深等人“共相荐达，任遇弥重”，专擅朝政。后因得罪和士开，贬为西兖州刺史。