1931年の柳条湖事件をきっかけに日本をめぐる国際情勢が急速に悪化していくが、1936年のIOC総会で1940年のオリンピックがアジアで初めて東京で行われることが決まった。ところがメインスタジアムの場所をめぐって東京市と大日本体育協会などの思惑が交錯し、紛糾する。東京市は「埋立地案」（現在の晴海付近）を、大日本体育協会は「明治神宮外苑競技場案」を推していた。その後、議論は二転三転し1937年に「外苑競技場改修」が決定するも、これを覆して最終的に駒沢に新競技場を建設するということで決着した。しかし、戦争の近づく国際情勢の中で1938年7月に返上が決定するも、欧州での戦争勃発のため、1940年のオリンピック大会が行われることはなかった。