Som tenåring skal han ha gått på koranskole (), hvor han fikk tilnavnet «Hāfez» («den som memorerer»), på grunn av sin evne til å memorere Koranen i sin helhet. Ved siden av studiene arbeidet Hāfez på et bakeri, hvor han ofte leverte brød til kunder i rikmannstrøket i byen. Ifølge folketradisjonen skal det ha vært her han forelsket seg i den unge og vakre Shākh-e Nabāt.