930年，克莱伯生于德国柏林，原名卡尔·路德维希（Karl Ludwig）。为逃避纳粹政权迫害，1935年克莱伯举家迁移至布宜诺斯艾利斯，从此卡尔改名为卡洛斯。童年时期，克莱伯就开始接受钢琴、作曲、声乐等方面的教育。1949－1950年他在苏黎世学习化学，1950年起则在布宜诺斯艾利斯继续接受音乐训练。托斯卡尼尼、布什和瓦尔特等人曾是他在指挥专业上的启蒙导师。
职业生涯.1952年在慕尼黑做声乐教师，1955年在波茨坦剧院以艺名“卡尔·凯勒”（Karl Keller）举行了自己