于维也纳的一个犹太富商家庭，出生于布达佩斯，曾在维也纳大学学习艺术史和哲学。1920年起，他曾先后跟作曲家勋伯格、韦伯恩学习音乐理论，并随魏因加特纳、理查·斯特劳斯和克劳斯等学习指挥。做了一段时间声乐教师之后，斯瓦洛夫斯基先后辗转维也纳人民歌剧院、斯图加特国立剧院、格拉罗伊斯剧院、汉堡国立歌剧院、柏林国立歌剧院等地担任指挥。1936年，斯瓦洛夫斯基被禁止工作，流放至苏黎世。在苏黎世歌剧院工作四年后（1937－1940年），斯瓦洛夫斯基在理查·斯特劳斯和克劳斯的庇护下返回纳粹德国，他曾参与歌剧《》的剧本创作，