Flere store branner har ødelagt den gamle trehusbebyggelsen i Holmsbu. Det gamle Holmsbo Badehotel brant i 1922, men ble gjenoppbygd, og har siden blitt om- og påbygd flere ganger. Mandag 17. april 1950 starta en større brann i Harry Hansens manufakturforretning i Hovedgaten. Denne, og to andre hus brant ned til grunnen. I alt fem familier ble husløse, og fem forretninger gikk tapt. Brannen gjorde et stort innhogg i den gamle trehusbebyggelsen innerst i havna i Holmsbu. Ytterligere en brann i 1962 ødela lokalene til Holmsbu Canning & Co. I 1960-årene ble også den siste av de gamle sjøbuene i Holmsbu revet.