Zemlinsky ble født i en svært multikulturell familie. Zemlinskys bestefar, Anton Semlinski, immigrerte fra Zsolna, Ungarn til Østerrike og giftet seg med en østerriksk kvinne. Begge var fra strengt romersk-katolske familier, og Alexanders far, Adolf, var oppfostret som katolikk. Alexanders mor var født i Sarajevo av en sefardisk far og en bosnisk-muslimsk mor. Alexanders familie konverterte til hans bestefars religion, judaismen, og Zemlinsky ble født og oppfostret som jøde.