Etter en sjelelig krise i tiden etter mordet på Nizam al-Mulk, orienterte han seg i retning av sufismen (islamsk mystikk), og forlot lærestedet og Bagdad i 1095 for å leve som en omstreifende asket i noen år, i Palestina og i Syria. Deretter vendte han tilbake til hjembyen Tūs, der han - med unntak av en kort gjenopptakelse av professorvirksomhet i professor i Nishapur (1106), forble frem til sin død og levde et tilbaketrukket liv.