Thielemann empezó su carrera con diecinueve años como maestro concertador (Korrepetitor) en la Ópera Alemana de Berlín (Deutsche Oper Berlin) y asistente de Herbert von Karajan.