Karajan también impulsó la construcción de la nueva sala de conciertos: la "Philharmonie", diseñada por Hans Scharoun, inaugurada en 1963, a la que en 1987 se añadió la sala de música de cámara.