在陇右割据的隗嚣属下。地皇四年（23年），隗嚣举兵当时王遵就跟从。王遵年轻时以侠气辩才知名。他在隗嚣阵营，以复兴汉朝为本心。汉复元年（23年）七月，隗嚣向郡国发布檄文声称复兴汉朝，王遵名列明威将军。汉复二年（24年），更始帝招请隗嚣入长安，王遵和同僚周宗一起跟从。更始三年（25年）夏，淮阳王张卬反对更始帝发动兵变，隗嚣参与其中。隗嚣自称有病没有进宫，召集王遵、周宗等率军士自守。隗嚣突破包围，逃回天水。之后，隗嚣加入光武帝的阵营。王遵和汉使来歙交友，王遵对来歙抱有敬意。建武六年（30年），来歙持符节访