Al-Halladj var sønn av en bomullskarder som levde et enkelt liv, en livsstil som meget tiltalte den unge Al-Halladj. Allerede som ung lærte han seg Koranen utenat, og trakk seg ofte tilbake fra sine verdslige sysler for studier sammen med andre mystikere.