Bybrannen i 1904 raserte all bebyggelse på holmen, mens Moloveien, som har utløp like ved Aksel Holms plass, ble skånet ettersom den lå i le for vindretningen da brannen herjet. All bebyggelse på holmen ble gjenreist som stolte murbygninger i jugendstil.