337年），石虎改称天王后，被降封为彭城公。太宁元年（349年），石虎称帝后，再被进封为彭城王。太尉张举曾建议石虎立石遵或燕公石斌为太子，然而因昭仪刘氏及戎昭将军张豺从中作梗，石虎遂立刘氏之子石世为太子。太宁元年（349年），石虎病重，石遵被任命为大将军，镇守关右。石遵从幽州来朝，被打发走，石虎知道后说“恨不见之”。不久，石虎去世，石世即位，大权握于刘太后及张豺之手。石遵与姚弋仲、蒲洪、石闵等人商量后决定反击，遂以石闵为前锋，攻打都城邺（今河北临漳县），不久，邺城陷，刘太后不得已只好任命石遵为丞相、