بعدها بسنه فى 905 متولى خراج مصر العباسى الحسين بن احمد المادرائى امر بهدم الديوان فإتهدم و اتباعت انقاضه و اتخربت كل القطائع و اتهدمت بيوتها و جناينها. اتحولت المدينه لخرايب بنى الفاطميين فى عهد الخليفه الفاطمى المستنصر بالله سور بيبدأ من باب زويله فى القاهره لغاية جامع عمرو بن العاص فى الفسطاط عشان يخفوا بيها خرايب القطائع و العسكر عشان ميأذاش الخليفه من شكلهم و هو رايح من القاهره على الفسطاط. و شويه شويه اتحولت المدينه لصحرا بعد ماالناس اخدو انقاضها. و ما فضلش منها اتخربت غير جامع ابن طولون.