育有两女：1960年6月25日出生的伊莎贝拉和1964年1月2日出生的阿拉贝尔。维也纳爱乐乐团和柏林爱乐乐团则分别是她们的监护人。而她们的保姆，正是卡拉扬的首任太太艾米·霍格罗夫。1959年，卡拉扬除了和维也纳爱乐在59年秋季巡回印度，菲律宾，香港和美国等地演出外，还再次为DG公司录音，和柏林爱乐乐团制作出自己第一张立体声唱片，理查德·施特劳斯的《英雄生涯》，这同时也标志着柏林爱乐，卡拉扬和德国唱片公司铁三角长时间的合作的开始。当时的卡拉扬虽然与EMI有录音合约在身，但是柏林爱乐却与德国唱片公司签下过合