In den 1930er Jahren vollzog die Sparkasse den Lückenschluss zur Kaiser-Joseph-Straße. Sie erwarb 1938 das angrenzende Haus "Zum Gauch" und das 1909 ebenfalls von Meckel umgebaute Wohnhaus des Kommerzienrates Rau (bis 1886: "Zur Rosen/zum Silberberg"). 1939 folgte der Kauf des Hauses "Zum roten Kopf" aus dem enteigneten Vermögen des jüdischen Warenhauses S. Knopf. Dieses hieß zwischenzeitlich Kaufhaus Richter, nach dem damaligen Geschäftsführer, dem ehemaligen Syndikus des Kaufhauses Fritz Richter. Im Zweiten Weltkrieg brannte das Haus zum Walfisch beim britischen Bombenangriff Operation Tigerfish vom 27. November 1944 vollständig aus. Die kostbare Innenausstattung ging verloren, lediglich die Fassade blieb erhalten. Der Erker wurde durch eine schnelle Sicherung und Abstützung gerettet.