Det lille man vet om hans unge år, stammer antagelig fra en tradisjon som oppstod etter hans død. Ifølge denne skal han ha mistet sin far i ung alder, og da skal han og hans bror, Ahmad, ha blitt tatt vare på av en sufi. Al-Ghazalis samtidige og første biograf, 'Abd al-Ghafir al-Farisi, skriver imidlertid bare at al-Ghazali begynte å få undervisning i (islamsk rettsanvendelse) fra Ahmad al-Radhakani, en lokal læremester.