1941年12月25日，香港正式被日軍佔領。日本為紀念進攻香港時死亡的日軍將士，便有興建忠靈塔的計劃。有傳聞指適逢香港被佔領前英國已有計劃於寶雲山山頂興建新的港督府，並運了不少大麻石於該址，日本當局因利成便選擇該址興建忠靈塔，此外該位置非常顯而易見，於是忠靈塔在1942年2月9日下午在寶雲山山頂奠基。