Karajan ble født inn i en overklassefamilie i Salzburg i Østerrike, hvor faren var kirurg og ekspert på behandling av struma. Faren var svært musikkinteressert og spilte både piano og klarinett. Han var også medlem av Salzburg kammermusikkselskap. Farens slekt kom opprinnelig fra gresk Makedonia og hadde navnet . I 1767 flyttet Karajans tipp-oldefar Geòrgios Johannes Karajànnis, som var født i Kozani som da lå i provinsen Rumelia (dagens Vest-Makedonia) og da var en del av Det osmanske riket, først til Wien og noe senere til Chemnitz i Sachsen hvor han sammen med broren bygget opp Sachsens tekstilindustri, med vekt på bomull. For sine fortjenester til kurfyrste Fredrik August I av Sachsen ble han adlet 1. juni 1792 og som tysk-romersk adelsmann fortysket han da navnet til . Han flyttet senere til Wien hvor han døde 2. juni 1813. Hans sønn, Karajans oldefar hadde høye stillinger innen embetsverket og i akademia, hvor han ble professor i 1850 i eldre tysk filosofi og historie ved Universität Wien. Han ble 11. juli 1869 tildelt Leopoldsordenen. Både han og hans etterkommere kunne da føye tittelen samt adelspredikatet til navnet.