元遵以淮南王世子的身份从秘书郎中为起家官，魏宣武帝元恪时期，元遵继承了父亲的淮南王爵位，被任命为前军将军、太子家令，代理西中郎将、幽州刺史，又代理北中郎将、青州刺史，很快转任骁骑将军，外任征虏将军、幽州刺史。元遵性格清静和睦，诚心教化引导，百姓很高兴。魏孝明帝元诩时期，以征虏将军的身份出任荆州刺史，很快加号前将军。北魏和南朝的边境自前代以来互相抢劫掠夺，元遵到荆州后，不允许侵犯骚扰南梁。元遵的弟弟元均当时在荆州担任朝阳戍主，有个南梁戍主的夫人三月三日在沔水旁边游玩，元均就派部曲劫掠她。元遵听说后，责备元均，