自马其顿，他们起初名为“卡拉约安内斯”（Karajoannes）或“卡拉扬尼斯”（Karajannis）。卡拉扬的高祖父格奥尔格‧卡拉扬 (Geórgios Karajánnis, Greek: Γεώργιος Καραγιάννης)生于奥斯曼帝国鲁米利亚（现希腊）的大城科札尼。西元1767年，前往维也纳，最终在萨克森选侯国的开姆尼茨（Chemnitz）定居，并与他的兄弟在合作开发纺织产业，大有成就。而家族中人的名与姓之间多插的一个“冯”字（von）是家族两次被册封为准男爵的结果。第一次是在1792