Utover 1980- og 1990-årene, på grunn av stress rundt sin hektiske og krevende arbeidsdag de siste 20 årene i arbeid som manganka, begynte Azuma å bli alkoholiker, forsvant flere måneder og en gang over et år fra offentligheten, og prøvde å begå selvmord minst en gang. Han ble tvunget til å legge seg inn på et rehabiliteringsprogram. I 2005 ga han ut en mangajournal over sine opplevelser kalt .