海亚·本·卡西姆率军重夺非斯，从而篡位，后世也称为叶海亚三世。叶海亚三世令国土重归统一，并继续率兵和反叛部落作战。905年，奥马尔之孙叶海亚·本·伊德里斯叛乱，叶海亚三世在内乱中阵亡。叶海亚·本·伊德里斯即位，又称叶海亚四世。正值此时，东部崛起的法蒂玛王朝不断向西扩张，意图控制摩洛哥地区。917年，法蒂玛王朝和当地的反叛部落结盟，攻克非斯，迫使叶海亚四世效忠法蒂玛王朝。919年或921年，叶海亚四世遭罢黜，表兄弟穆萨（Musa ibn Abul 'Afiya）掌权，向法蒂玛王朝称臣。卡西姆之孙哈桑在92