斯勒是奥地利哲学家，母亲玛丽·费舍尔是屠夫之女，哥哥盖哈特·艾斯勒是共产国际新闻记者，姐姐露丝·费舍尔在1920年代曾是德国共产党的领导者，但后期政治倾向发生转变。1901年，全家搬到了维也纳。
早年生涯.艾斯勒1916年被招入奥匈帝国军队的匈牙利军团，在第一次世界大战期间曾多次受伤，1918年退伍后回到维也纳。1919年1月，艾斯勒曾支持德国柏林工人武装起义，但起义最终失败。1919年至1923年，艾斯勒在维也纳音乐学院学习作曲，师从勋伯格。1920年至1934年间，他和夏洛特