I 1934 opprettet Harmonien en komité med skipsreder Haakon Wallem som formann. Før andre verdenskrig ba komitéen om å bli tildelt tomten Lars Hilles gate 3a gratis av kommunen, men først i 1941 kom det respons, siden den tyske okkupasjonsmakten og Nasjonal Samling gjerne ville feire Griegs hundreårsdag i 1943 med en nyreist konsertsal; men under krigen manglet det midler. Ved frigjøringen i 1945 ble alle politiske vedtak fra okkupasjonstiden kjent ugyldige. Dermed gikk tomten tilbake til kommunen. I en avtale fra 1949 fikk komitéen likevel tomten tilbake, men som motytelse frasa Bergen kommune seg flere utgifter til prosjektet.