国子太学建立后，李遵进入国子太学学习，写文章通过考试，成绩优秀，被选拔为司空行参军。高阳王元雍镇守邺城时挑选幕僚，第一个挑选李遵代理参军署法曹。不久李佐去世，李遵为父亲服丧，守丧期满后，李遵承袭为泾阳县开国子，被任命为员外散骑侍郎。自李宝归顺北魏以来，陇西李氏三代都定居于平城，李佐因任官曾定居于相州，直到李佐时期才将户籍安置于魏郡汤阴县。李遵后被任命为相州别驾，又回京任奉车都尉，外调为冀州征北大将军长史，又加号中垒将军，任命为冀州安东府上僚，调任司空司马。正光五年五月八日（524年6月24日），李遵在洛阳显