Harnoncourt vokste opp i Graz i Steiermark og tok musikkutdannelsen i Wien. I perioden 1952-69 var han ansatt som cellist ved Wiener Symphoniker. Samtidig dannet han ensemblet sammen med kona Alice Hoffelner, som var fiolinist. Formålet med ensemblet var å framføre musikk fra middelalder, renessanse og barokk så tidsriktig som mulig ved å anvende originalinstrumenter.