慕尼黑做声乐教师，1955年在波茨坦剧院以艺名“卡尔·凯勒”（Karl Keller）举行了自己的首场演出，指挥的是轻歌剧《》。在维也纳人民歌剧院短暂停留后，先后担任过莱茵德意志歌剧院（1957－1964年）、苏黎世歌剧院（1964－1966年）、斯图加特国立剧院（1966－1973年）首席指挥。苏黎世的工作是克莱伯第一个正式意义的指挥职务，他在苏黎世的两年期间内指挥了65场歌剧，这段时间从未在外地客席演出。1966年，克莱伯带领斯图加特国立剧院首次到海外演出，在爱丁堡指挥了贝尔格的歌剧《伍采克》——其父亲