東京オリンピック開催決定とともにカヌー競技場として海の森水上競技場の建設が決定したが、2016年東京都知事選挙で小池百合子が東京都知事に就任するとオリンピック関連施設の見直しが打ち出され、海の森水上競技場も対象となった。一時は、埼玉県の戸田漕艇場や宮城県登米市長沼漕艇場などへの会場変更も検討されたが、工事費を圧縮することで海の森水上競技場の建設続行が決定。整備費は当初計画約491億円から約308億円へ圧縮された。2019年5月までに施設が完成。同年6月16日には小池都知事ら約400人が集まって完成披露式典が開かれた。
総監督を務めることになった市川崑は、自身とその妻で脚本家の和田夏十の名コンビに加え、新鋭脚本家の白坂依志夫と詩人の谷川俊太郎という布陣で、そもそも筋書きなどはないはずのオリンピックのためにまず緻密な脚本を書き、これをもとに壮大なドラマである『東京オリンピック』を撮るという制作手法をとった。日本を代表するカメラマンとして世界的にも名を知られた宮川一夫が主導した撮影にも、アスリートの心情の表現を重視した演出や、超望遠レンズをはじめとする複数のカメラを使った多角的な描写などを駆使し、従来の「記録映画」とは全く性質の異なる極めて芸術性の高い作品に仕上げた。しかしそれは、1936年のベルリンオリンピックを記録したレニ・リーフェンシュタール監督の『民族の祭典』と並んで、「芸術か記録か」という大論争を引き起こすことになった。完成披露試写の2日前（1965年3月8日）におこなわれた関係者のみの試写会で本作を鑑たオリンピック担当大臣の河野一郎は、「俺にはちっともわからん」「記録性をまったく無視したひどい映画」とコメントし、「記録性を重視した映画をもう一本作る」とも述べた。文部大臣の愛知揆一も「文部省として、この映画を記録映画としては推薦できない」という声明を3月16日に出した。東宝は市川に映画の修正を求め、市川は試写版に日本人金メダリストやオリンピック建造物の映像を追加して公開版を作成した。この状況で、女優の高峰秀子は3月18日付の東京新聞に「市川作品はオリンピックの汚点だなどと乱暴なことばをはくなんて、少なくとも国務相と名のつく人物のすることではない」と市川を擁護する意見を投稿した。高峰はさらに単身河野に面会し、映画と市川の優れた点を訴えるとともに、河野が市川と面談するように求めた。このあと河野は3度にわたって市川と面談する機会を持ち（うち2回は高峰も同席）、最終的に市川ら関係者の努力を認め「できあがりに百パーセント満足したわけではないが、自由にやらせてやれ」と映画プロデューサーの田口助太郎（東京オリンピック映画協会会長）に電話して矛を収めることとなった。この時の騒動について市川は映画の完成から20年後に「要するに河野さんは、馬とかマラソンにうんちくのある方だったんですが、その辺の競技を映画で見たかったのにそれが十分入っていないのが気に食わなかった。作品を全面否定されたわけでも何でもないんです。今から言えば笑い話ですがね」とインタビューで語っている。英語版では大会組織委員会が再編集を施し、上映時間が日本語版より40分短い作品に仕上げている。一方市川自身も、2004年（平成16年）にオリンピック開催40周年を記念して発売されたDVDでは、本人が再編集したディレクターズカットを公開版と併せ収録している。このディレクターズカット版も、公開当時に全体のバランスから入れざるを得なかった競技や、やや創作に偏り過ぎたというチャド共和国の陸上アスリート、アフメド・イサのエピソードがカットされたため、公開版より22分短い。さまざまな波紋を広げながらも、『東京オリンピック』は日本国内で12億2321万円の配給収入を記録。同年度のカンヌ国際映画祭では国際批評家賞、英国アカデミー賞ドキュメンタリー賞を受賞した。また映画館の他にも日本各地の学校や公民館で上映会が開かれたことから、その観客動員数は一般観客750万人、学校動員1600万人の合計2350万人で、事実上日本映画史上最多であるといわれている。この映画のタイトルは一般公募され4万7千通もの応募があり、その中から監督の市川が選ぶというかたちを取ったが市川は結局のところ「いちばん簡潔なものを」ということでタイトルは「東京オリンピック」に決まった 。映画の製作はオリンピック開催の4か月以上も前の5月28日、オリンピック会場の建設現場でそれまで建っていた建物が壊されるシーンの撮影からクランクインした 。使用されたカメラは103台、レンズは232本、撮影したフィルムの長さは40万フィート、録音テープの長さは6万5千メートル、携わったスタッフは総勢556名にも及び撮影と編集には莫大な労力を費やした。効果音はほとんどが後付けであり、富士山をバックに聖火ランナーが走るシーンなども別撮りである。撮影を進めるうえで「実際に競技している音を望遠マイクで拾うために1700万円」、「競技場の臨場感を再現するステレオ録音にするため680万円」、「閉会式など夜間の明かりが暗い場所で撮影するためＦ値の明るい超望遠レンズの調達に780万円」、等々と経費が次々とかさみ、最終的な制作費は3億5360万円まで膨れ上がった 。最初に話を受けたのは黒澤明だったが予算の関係から断り、次に今井正、今村昌平、渋谷実、新藤兼人ら複数の監督に話が流れ、最終的に市川が引き受けた。撮影スタッフの一人に山本晋也がおり、市川に「選手の癖を撮れ」と言われ、非常に困ったと後に話している。市川は8年後のミュンヘンオリンピックの記録映画『時よとまれ、君は美しい/ミュンヘンの17日』において、オムニバス形式のパートの一つ（100m競走を題材にした"The Fastest"）を担当し、再度オリンピック映画を手がけている。