英国已有计划于宝云山山顶兴建新的港督府，并运了不少大麻石于该址，日本当局因利成便选择该址兴建忠灵塔，此外该位置非常显而易见，于是忠灵塔在1942年2月9日下午在宝云山山顶奠基。1945年8月15日，日军向盟军投降，8月30日英军舰队抵达维多利亚港，香港重光，但此时忠灵塔只兴建不到一半。1947年2月26日香港时间下午4时29分，忠灵塔被港英政府以爆破方式拆毁。原址的地基仍然保留至今，并于1951年兴建金马伦大厦，门牌地址为马己仙崃道34号。
忠灵塔之剑.根据香港历史学家吴昊