Im Zweiten Weltkrieg wurde Josefs Familie nach Oberstdorf evakuiert. Das Geschäftshaus in der nun in Hindenburgstraße umbenannten ehemaligen Hochstraße wurde beschädigt und später durch einen Neubau ersetzt. Josef Giani starb 1949 und fand seine letzte Ruhestätte in einer neuen Familiengrabstätte auf dem Westfriedhof, unweit der Grabstelle Caspar Giani.