Alban Berg var det tredje av fire barn til den velstående forretnings- og eksportkjøpmann Conrad Berg og hans hustru Johanna. Da Alban var 15 år døde faren, og moren videreførte mannens devosjonalieforretning. Allsidig begavet var Alban interessert like meget i litteratur som musikk. Sammen med sin ett år yngre søster Smaragda fikk han pianoundervisning, og begynte å komponere som sekstenåring. Stykkene ble sunget av hans storebror Charly – som allerede var kjøpmann – og Smaragda.