斌为太子，然而因昭仪刘氏及戎昭将军张豺从中作梗，石虎遂立刘氏之子石世为太子。太宁元年（349年），石虎病重，石遵被任命为大将军，镇守关右。石遵从幽州来朝，被打发走，石虎知道后说“恨不见之”。不久，石虎去世，石世即位，大权握于刘太后及张豺之手。石遵与姚弋仲、蒲洪、石闵等人商量后决定反击，遂以石闵为前锋，攻打都城邺（今河北临漳县），不久，邺城陷，刘太后不得已只好任命石遵为丞相、领大司马、大都督中外诸军、录尚书事，加黄钺、九锡，增封十郡。数日后，石遵假刘太后令废石世、立石遵为帝，假装再三辞让后在群臣劝进下自登