Sufizmas atsirado VIII–IX a. dabartinėje Irako ir Sirijos teritorijoje. Ankstyvieji sufijai sulaukė priešiškumo tiek iš šiitų, tiek iš sunitų, o kai kurie iš jų, kaip X a. panteizmo mistikas Halajus, buvo nubausti mirties bausme. XII a. pab. – XIII a. pr. sufizmas jau buvo paplitęs Rytų Irane. Vėliau ši islamo srovė buvo paplitusi nuo Šiaurės vakarų Afrikos iki Šiaurės Kinijos ir Indonezijos. Žymus sufizmo teologas al Gazalijus (1059–1111) papildė sufizmo elementais sunitiškąjį islamą, padarė jį patrauklesnį, ypač nearabiškų kraštų gyventojams. Sufizmas itin suklestėjo vadinamojo Islamo aukso amžiaus metu, vėliau tapo svarbia Osmanų imperijos dvasinės kultūros dalimi.