大战爆发，加上苏芬爆发冬季战争，1940年1月1日芬兰通知国际奥委会放弃主办权。随后，纳粹德国入侵北欧及西欧各国，随后蔓延至世界各地，该届奥运会也就被迫取消了。纳粹德国原本计画使用来传递奥林匹克圣火。东京筹办该届奥运时，最初计画将主场馆设置于明治神宫外苑，并将此地改建扩充成可容纳10万人的新场馆，但遭到当时管辖明治神宫外苑的内务省神社局强烈反对，后来改为选址于东京驹泽的「驹泽高尔夫球场」迹地，并预定在驹泽的主场馆周围修建一系列的竞赛场地。驹泽的主场馆预定地，日后成为1964年东京奥运部分场馆的所在地