Han ble født Richard Engländer 9. mars 1859. Pseudonymet «Altenberg» kom fra en liten by ved Donau. Angivelig valgte han «Peter» til ære for en ung pike som han husket som en ikke gjengjeldt kjærlighet (det hadde vært hennes kallenavn). Selv om han vokste opp i en jødisk middelklassefamilie, Altenberg slutt skilte seg fra sin families opprinnelse ved å avbryte sine studier inne juridikum og medisin. Han omfavner i stedet bohemtilværelsen som et permanent livsstilsvalg. Han dyrket et feminint utseende og feminin håndskrift, bar en kappe, sandaler og en bredbremmet hatt, og foraktet 'macho' maskulinitet.