Tollboden ble sterkt skadet 20. april 1944, etter at det nederlandske ammunisjonsskipet «Voorbode» eksploderte ved Festningskaien. Bergen Tollkammer foreslo at det skulle bygges en ny tollkammerbygning på fem etasjer. Fire offentlige komiteer behandlet saken. En av disse gikk inn for å bygge opp igjen Tollboden i sin opprinnelige form, noe som Stortinget senere også vedtok.