Anlässlich einer Metallsammelaktion forderte 1940 Robert Wagner, Gauleiter der NSDAP, dazu auf, das Denkmal Adolf Hitler zum Geburtstag zu schenken, was aber von städtischer Seite abgelehnt wurde. Den Bombenangriff am 27. November 1944 überstand das Denkmal unbeschadet, obwohl die unmittelbar daneben stehende Karlskaserne völlig zerstört wurde. Der Westflügel der im 18. Jahrhundert erbauten Kaserne wurde 1950–51 wieder aufgebaut und beherbergt heute das städtische Sozial- und Jugendamt.