太平洋戦争下では、1943年（昭和18年）8月に日本軍の本格的な配備が始まり、アメリカ軍の上陸作戦を想定して、島民も動員して海岸から三原山中までトーチカを含む陣地や防空壕、飛行場（現・大島空港）が建設された。米軍の上陸はなかったものの、戦闘機の攻撃を受けた。サイパン島が陥落して、同島を含むマリアナ諸島に展開したB-29爆撃機による日本本土空襲が始まると、防空監視の拠点ともなった。南関東の都市が夜間空襲を受けて炎上すると、伊豆大島からも空が赤く見えたという。最終的に約1万人に増えた兵員に食糧を確保することと、米軍上陸時の被害を減らすため、1944年（昭和19年）以降は本土への集団疎開が進められて約3500人が島を離れたが、「どうせ死ぬなら先祖代々暮らしてきた島で」と居残りを望む島民もいた。疎開先は島民の縁故者や山梨県、長野県などで、やがて輸送船の不足もあって疎開は中止された。