La Witte Huis est l'une des rares constructions du centre de Rotterdam épargnées lors du bombardement de la ville par l'armée nazie, le . Seule une des six statues monumentales — celle du Travail située sur la façade sud — décorant les façades a été détruite.