Byggingen av konserthuset ble påbegynt i 1960 og det ble innviet 15. oktober 1963. Arkitekt var Hans Scharoun. Bygningen hører sammen med kammermusikksalen, Musikinstrumentmuseet og flere andre bygninger til området kalt Kulturforum Berlin, ikke langt fra Potsdamer Platz.