خلا المغرب لموسى بن أبي العافية منذ سنة 313هـ فبسط سلطانه على البلاد واستخلص من الأدارسة ما بقي لهم من معاقل على الساحل مثل شالة وأصيلة، وطاردهم فلجؤوا جميعاً سنة 317هـ/929م إِلى حصن لهم يعرف باسم حجر النسر، وهو معقل يقع في قلب أوعار جبلية يصعب اجتيازها، بناه محمد بن إِبراهيم ابن محمد بن القاسم بن إِدريس في أرض قبيلة سوماترا إِلى الشمال الشرقي من مدينة القصر الكبير، وحصرهم موسى هناك، لكنه عجز عن اقتحام الحصن، ولامه أصحابُه لمحاولة استئصال شأفتهم، فانصرف عنهم وترك على حصارهم ألف فارس بقيادة أبي الفتح التْسولي لتقييد حركة الأدارسة. وحول موسى اهتمامه للتمكين لنفسه في فاس وللتوسع في المغرب الأوسط حيث الأسرة الحسنية الثانية من نسل سليمان ابن عبد الله أخي إِدريس الأول. وتخلى في هذه المرحلة عن طاعة العبيديين الفاطميين فخطَب لعبد الرحمن الناصر، خليفة الأمويين في الأندلس، وكاتبه وكان قد اتصل به منذ عام 317هـ/929م. ردّ الفاطميون على خيانة ابن أبي العافية بتوجيه حملة جديدة إِلى المغرب الأقصى قادها حميد بن يصلتن سنة 320هـ/932م, ألحقت الهزيمة بموسى بن أبي العافية بفحص مسون في منطقة تازة واستعادت فاس، فانقض الأدارسة المحتجزون في حجر النسر على قوات ابن أبي العافية المحاصرة لهم فطردوها ونهبوا معسكرها. ثم انضموا إِلى الجيش الفاطمي الجديد الذي قاده ميسور الفتى عام 323هـ/934م واستعادوا بمعونته، وفي ظل الطاعة للفاطميين، أكثر ما كان لهم في المغرب الأقصى باستثناء فاس. وتزعم هؤلاء الأدارسة فرع أبناء محمد بن القاسم بن إِدريس الشقيقان إِبراهيم والقاسم الملقب بكنّون. وانفرد كنّون بالزعامة واتخذ من حجر النسر مقراً وقاعدة. وبذلك تميز هؤلاء من الفرع الإِدريسي الآخر من أبناء عمر بن إِدريس المقيم في جهات غمارة في الريف وسبتة، الذين وجدوا من مصلحتهم أن يخضعوا لأمويي الأندلس، بعد أن احتلوا سبتة وجعلوها قاعدة لهم، وقدموا الطاعة للأمويين في مقابل تعهد الأمويين لهم بالامتناع عن التدخل في شؤونهم الداخلية. واستمر فرع أبناء القاسم على عدائه للأمويين أمداً بسبب تضارب المصالح، وقد تجلى ذلك بوضوح في النزاع على أصيلة التي طلبت عون عبد الرحمن الناصر الأموي لمساعدتها على الأدارسة، فأمر واليه على سبتة بإِرسال قوة أموية لمساعدتها، لكن هذه القوة لم تفلح في منع الأدارسة من احتلالها سنة 326هـ/938م. واستمر هذا العداء طول حكم كنّون الذي توفي عام 337هـ/948م. وخلفه ابنه أبو العيش أحمد بن القاسم كنون الملقب بأحمد الفضل لأخلاقه وعلمه، وقد حوّل ولاءه إِلى خليفة الأندلس القوي آنذاك، ويبدو أن الأمويين كانوا زاهدين في هذا الولاء بدليل عدم قبول طاعة أحمد الفضل مالم يتنازل لهم الأدارسة عن طنجة. ولما قبل هؤلاء بما طُلب منهم استهان الأمويون بهم إِلى حد تعيين أمير عليها من بني يفرن الزناتيين أعداء الأدارسة. وأدرك أبو العيش أحمد ضعف موقفه في هذه الدولة التي انكمشت واقتصر سلطانها على البصرة وأصيلة فتخلى عن عرشه سنة 343هـ وطلب من الناصر السماح له بالجواز إِلى الأندلس للجهاد، فأذن له وهيأ له سبل الإِكرام من لحظة نزوله أرض الأندلس حتى وصوله الثغر. وبقي أبو العيش مجاهداُ هناك حتى استشهد سنة 348هـ/959م. واستمر أخوه الحسن بن القاسم كنون الذي تولى الحكم بعده في طاعة الأمويين ما داموا أقوياء، وعندما ضعف سلطانهم مؤقتاً نتيجة لحملة فاطمية كاسحة قادها جوهر الصقلي عام 347هـ حوّل طاعته للفاطميين، وعندما انصرف جوهر عائداً إِلى المهدية سنة 349هـ رجع الحسن إِلى طاعة الأمويين وظل لائذاً بهم إِحدى عشرة سنة أخرى. وعندما قدم بلكين بن زيري بن مناد الصنهاجي إِلى المغرب الأقصى على رأس حملة جديدة ليثأر من زناته الذين قتلوا أباه 361هـ, كان الحسن بن كنون أول من سارع إِلى بيعته وخلع طاعة الأمويين، وقاتلهم واستعاد منهم طنجة. فلما انصرف بلكين إِلى إِفريقية( تونس) بعث الخليفة الحكم المستنصر قائده محمد بن القاسم في جيش كثيف وأسطول يقوده عبد الرحمن بن رماحس لقتال الحسن بن كنون، أواخر سنة 361هـ/971م. وقد أفلح الأسطوال في استرداد طنجة والاستيلاء على دُلُول وأصيلة، لكن التقدم في البرّ كان عسيراً, فاستطاع الحسن بن كنون هزيمة الجيش الأموي بفحص بني مصرخ في أحواز طنجة وقتل قائده في ربيع الأول 362هـ/كانون أول 972م, ولجأ من بقي من الجيش إِلى سبتة. فأرسل الحكم جيشاً آخر بقيادة مولاه غالب قائد الثغر الأعلى وحمّله بالأموال لشراء الأتباع، فاشتبك معه الحسن بن كنون في قصر مصمودة ودار القتال أياماً, واستمال غالب الناس بالأموال فانفضوا عن ابن كنون ولم يبق معه إِلا القليل من خاصته ورجاله فسار بهم إِلى حجر النسر معقل الأسرة وتحصن به، وطارده غالب وأقام على حصاره حتى أوائل المحرم سنة 363هـ, واشتد الحصار على الحسن فطلب الأمان على نفسه وأهله وأجيب إِلى طلبه وحمل مع سبعمئة من رجاله إِلى قرطبة في آخر رمضان سنة 363هـ/24 حزيران 974م, وأقام الحسن وأصحابه نحو عام في أحسن حال، ثم صودرت أمواله وأخرج من الأندلس فتوجه إِلى إِفريقية ومنها إِلى مصر حيث نزل ضيفاً على الخليفة الفاطمي نزار بن معد فأكرم وفادته ووعده بالمساعدة على الثأر. ولم يتم الوفاء بالوعد إِلا في عام 373هـ/984م عندما كتب الإِمام الفاطمي للحسن بن كنون بعهده على المغرب الأقصى وأمر عامله على إِفريقية بأن يمده بالجند، فأمده هذا الأخير بثلاثة آلاف فارس دخل بهم المغرب، وانضمت إليه قبائل عدّة. واضطر المنصور العامري حاجب الخليفة الأموي الأندلسي هشام المؤيد إلى توجيه جيش لمواجهة حملة الحسن بن كنون الإدريسي وأمّر عليه ابن عمه عمر بن عبد الله بن أبي عامر، وأتبعه بقوة أخرى يقودها ابنه عبد الملك المظفر. أحاطت القوتان بالحسن بن كنون خارج سبته فاستسلم مقابل الأمان وأن يعود لحاله الأولى في قرطبة، لكن المنصور لم يمض أمان ابن عمه وأرسل إلى الحسن من قتله في الطريق، وانتهى بموته سلطان الأدارسة في المغرب الأقصى، إلا ما كان من ظهور الحموديين من نسل عمر بن إدريس الذين أقاموا دولة من دول الطوائف في الأندلس عاشت النصف الأول من القرن الخامس الهجري/الحادي عشر للميلاد، وامتدت سيطرتها من جنوب الأندلس إلى سبتة.