さらに1938年5月、東京での開催に大きな役割を果たした嘉納治五郎がカイロからの帰途、氷川丸船上で病死するに至り、日本政府は7月15日、閣議で開催権を正式に返上した。東京市が1930年から返上までの間、拠出した五輪関係費用は90万円（2017年8月現在の価値で約23億4千万円）にのぼる。代わってヘルシンキでの開催が決定したが、1939年（昭和14年）9月にヨーロッパで第二次世界大戦が勃発したため、こちらも結局開催できなかった。なお、夏季大会は開催返上・取りやめの場合でも第1回からの通し回次番号がそのまま残るため、公式記録上では東京・ヘルシンキそれぞれ1回は「みなし開催」となったことになる。こうして五輪の準備は一先ず中止され、組織委も大幅に縮小された。しかし、すでに工事をはじめ、竣工寸前であった東京市芝浦埋立地の自転車競技場（現存せず）と、埼玉県北足立郡戸田村（現・戸田市）のボートコース（戸田漕艇場）は1939年までに完成し、戸田漕艇場は戦後、競艇場としても使用されつつ1964年大会で競技会場として改めて活用された。自転車競技場の建設にあたっては、市内主要大学の学生3407名を中心とする帝都青年労働奉仕団が作業を担当した。また、駒沢に主会場をおく案はそのまま1964年大会に生かされた。なお中止運動の急先鋒に立っていた河野一郎は、皮肉にも1964年大会開催に当たって池田内閣で建設大臣（五輪関連施設や道路の建設の指揮監督を担当）および五輪担当国務大臣を務めた。
1938年3月にカイロ（エジプト）で開催されたIOC総会では、ベルリン大会組織委員会事務総長のカール・ディームが聖火リレーの実施を提議し、各国から実施の要望がなされるなど、開催へ向けて準備が進んだ上に、聖火リレーのルートに満州国を入れることで、当時イギリスやアメリカ、ソビエト連邦などの中国大陸での利権をめぐり日本と対立していた国の反対でオリンピック委員会への加盟がかなわず、そのために参加が危ぶまれていた満州国選手団の参加に弾みをつけた。しかしカイロ総会前には、中国大陸における利権のみならず、日独伊防共協定を巡り日本と対立していたイギリスやイギリス連邦を構成する自治領オーストラリア、ニュージーランドだけでなく、大会開催権を争って敗北していたフィンランドからも、東京開催の中止と「漁夫の利」を目論んでのヘルシンキでの代替開催を求める声が上がっており、さらに日中戦争の一方の当事国である中華民国も開催都市変更を要望してきた。このような状況下にあるにもかかわらず、「中国大陸での動乱が収まらなかった時は中華民国の選手の出場はどうするのか」という外国の委員の質問に対し、カイロ総会に至っても軍部のプレッシャーを受けて足並みが揃わなかった日本側委員は満足な回答をすることができず、外国委員を失望させた。また、イギリス以上に中国大陸に大きな利権を持つために、日中戦争に政府が否定的な態度を取り続けていたアメリカ人のIOC委員は、東京大会のボイコットを示唆して委員を辞任する事態となった。さらにド・バイエ＝ラトゥール伯爵の元には東京開催反対の電報が150通も寄せられており、ついにド・バイエ＝ラトゥールから日本に対し、開催辞退の話が持ちかけられてきた。
このように開催に向けた準備が進む一方で、1937年3月20日の衆議院予算総会では河野一郎（政友会、後に日本陸上競技連盟会長）が「今日のような一触即発の国際情勢において、オリンピックを開催するのはいかがと思う」旨を発言。実際に前年までヨーロッパとアフリカでは第二次エチオピア戦争が起きており、またこの発言のその4か月後に盧溝橋事件が起こり、その後日本軍と中華民国国軍の戦闘区域が拡大し「日中戦争」と呼ばれるようになると、陸軍が軍内部からの選手選出に異論を唱えた。また各種団体からの満州国選手団の参加を求める抗議行動が続いていた。1938年に入ると日中戦争の長期化により鉄鋼を中心とした戦略資材の逼迫した為競技施設の建設にも支障が生じ、東京市の起債も困難となってきた。さらに陸軍大臣・杉山元が議会において五輪中止を進言し、河野が再び開催中止を求める質問を行うなど、開催に否定的な空気が国内で広まった。それまで五輪開催を盛り上げる一翼を担ってきた読売新聞や東京朝日新聞などでは、五輪関係の記事がこの年から打って変わって縮小している。さらに、軍部からの圧力を受けた内閣総理大臣の近衛文麿公爵は、同年6月23日に行われた閣議で戦争遂行以外の資材の使用を制限する需要計画を決定し、この中に五輪の中止が明記されていたことから、事実上五輪の開催中止が内定した。
東京都内の公立小学校2年生に通う児童を持つ保護者は2年間に865円の教科書代金を支払ったが、憲法第26条が義務教育の無償を定めていることを知ったことから、教科書代金は国が負担すべきと考え、義務教育期間中の教科書代金総額5836円の徴収行為の取り消しと支払いを求めて国に対して訴えを起こした。1961年11月22日に東京地裁は徴収行為取り消しを求める部分を却下し、支払いを求める部分については「憲法第26条は国に対し、財政負担能力などの関係において、義務教育無償化の責務を具体的に実現すべき国政上の任務を規定したに留まり、個々の保護者はこの規定により義務教育に伴う出費の保障を国に求める具体的権利を有するものではない」という法的性格を有するとの理由から請求を棄却した。原告は2年間に必要とした教科書代金865円の償還と義務教育期間中の教科書代金総額の徴収行為の不作為を求めて控訴するも、1962年12月19日に東京高裁は「憲法第26条が直接定めているのは授業料の不徴収だけで、その他の費用は立法をまってその負担を定めるべきという理由で控訴を棄却した。原告は上告した。1964年2月26日に最高裁判所は「憲法第26条は保護者に親の本来有する子女を教育すべき義務を課する趣旨が認められるから義務教育に要する一切の費用は当然に国が負担しなければならないとは言えず、憲法第26条の義務教育無償化規定は授業料不徴収を意味するのであって、教科書代金の無償までも含むものではなく、教科書の無償をどうするかは立法政策の問題として解決すべき事柄である」と判断して上告を棄却した。本訴訟の提起後に国会で1962年に義務教育諸学校の教科用図書の無償に関する法律が、1963年に義務教育諸学校の教科用図書の無償措置に関する法律がそれぞれ制定されたことで、国によって義務教育教科書の無償化措置が取られている。