Im Zweiten Weltkrieg wurde das Postgebäude schwer beschädigt, darunter bei einem Bombenangriff im alliierten Luftkrieg am 6. Januar 1945. Nach notdürftigen Reparaturen konnte der Postdienst schon im Jahr des Kriegsendes wiederaufgenommen werden. Das Paketpostamt wurde in vereinfachter Form wiederhergestellt, teilweise verputzt und 1951 aufgestockt. Dabei ging die ursprüngliche Fassade mit neoromanischen Formen an der Vivatsgasse weitgehend verloren, ebenso der Turmhelm an der Ecke Vivatsgasse/Bottlerplatz, während sie am Bottlerplatz erhalten blieb. 1962 wurde der Paketdienst aus dem Hauptpostamt in neu gebaute Räumlichkeiten am Kaiser-Karl-Ring verlagert. 1972 wurde eine Restaurierung des Gebäudeinneren vorgenommen, von 1988 bis 1990 folgte dann eine Restaurierung der Außenfassade.