På midten av 1000-tallet kom Nord-Afrika under fatimidenes kontroll, og byen ble invadert av beduiner og ødelagt i 1057. Under Det osmanske riket ble hovedstaden flyttet til Tunis på 1100-tallet, men Kairouan har opprettholdt sin status som hellig by og religiøst senter. Etter at franske styrker tok kontroll over området i 1881 har det også vært adgang til byen for ikke-muslimer.