En teori tolker begrepet som en avart fra det greske ordet («visdom»). Den mest kjente forklaringen på begrepet fører det tilbake til ordet (صوف), det arabiske ordet for ull. En antar da at det er avledet av den enkle drakt som tidlige muslimske asketer bar. Imidlertid bar ikke alle sufier drakter av ull. En annen etymologisk forklaring foreslår at roten av ordet sufi er det arabiske ordet (صفا), i betydningen renhet. Denne forklaringen understreker sufismens fokus på åndelig renhet. Ytterligere en forklaring går på at ordets opprinnelse kommer fra «Ashab al-Suffa» («Fellesskapet på verandaen») eller «Ahl al-Suffa» («Folket på verandaen»), som var en gruppe muslimer under regimet til profeten Muhammed som tilbrakte mye av sin tid i bønn på verandaen til profetens moske.