俗，涉猎经史，担任着作佐郎，与司徒左长史崔鸿一起撰写起居注，升任右军将军，兼任散骑常侍。正光二年（521年）八月 ，王遵业前往驿舍宣旨慰问柔然可汗阿那瑰，并对他施以赏赐，王遵业于是前往代京，寻访采集遗失的文章，以增补起居注的缺漏。王遵业又与崔光、安丰王元延明等人参与制定表示官阶身份的服饰。到崔光为魏孝明帝元诩讲解《孝经》，王遵业参与讲解，他的弟弟王延业记录讲说的义理，都奉召作《释奠侍宴诗》。当时的人说：“英才济济，王家兄弟。”王遵业转任司徒左长史、黄门郎、监典仪注。王遵业在当时有声誉，与中书令陈郡袁翻、