Altenbergs motstandere (mange av dem var antisemittiske) sa at han hadde rusmiddelavhengighet og var en skjørtejeger. Ryktene sa at Altenberg ble også hadde problemer med alkoholisme og psykisk sykdom. Hans beundrere anså ham likevel for å være en svært kreativ person med en stor kjærlighet for det estetiske, for naturen og for unge jenter. Han er spesielt kjent for å ha samlet en stor samling av fotografier og tegninger av unge jenter, og dem som kjente ham godt (som datter til hans forlegger) skrev om hans tilbedelse av unge jenter.