Karajan vokste opp i Salzburg, og ble et vidunderbarn på piano. Fra 1916 til 1920 gikk han ved Mozarteum i Salzburg, hvor han ble oppmuntret til å studere konsertdireksjon. I 1926 tok han matura ved det såkalte humanistiske gymnaset i Salzburg, men i de tre følgende semestrene studerte han maskin ved den tekniske høyskolen i Wien, samtidig som han studerte musikkvitenskap ved Universität Wien. Fra 1929 studerte han klaver og dirigering ved Universität für Musik und darstellende Kunst Wien.