Fue el hijo menor del matrimonio del doctor Ernst von Karajan y Martha Kosmac, de ascendencia eslava.