南部への撤退は、沖縄県民に多大な犠牲をもたらしたが、敵のアメリカ軍からは軍事的視点で「見事に首里を撤退し、時をうつさず南部に新たな戦線を確立した」と評価されたぐらいに、巧みに連合軍の追撃をかわし、喜屋武に防衛線を再構築した。多数存在した自然の洞窟を利用しながら構築した日本軍の防衛線で、国吉の丘陵地帯における戦闘のように、連合軍の攻撃を何度も撃退し多大な損害を与えている。敵のアメリカ軍も「アメリカ軍が全力をあげて集中攻撃を加えても、戦闘を終わらすまでに三週間以上を要したのである。」と、第32軍の敢闘を評価している。しかし、今までの戦闘で兵力の大半を失っていた第32軍は次第に追い詰められており、これまで作戦を主導してきた八原も、ビルマで罹患していたアメーバ赤痢が再発し、高熱と下痢で衰弱していた。牛島はそんな八原を見て、少しでも回復してもらおうと、自ら小刀でせっせと鰹節を削り出し、八原に食べさせている。　牛島自身も摩文仁の軍司令部壕到着後、体調を崩し、激しい下痢に苦しんでいた。6月17日には、各部隊との連絡も取れなくなり、組織的な戦闘が不可能な状態となっていた。その様な状況で、沖縄侵攻作戦の最高司令官 サイモン・B・バックナー中将が牛島に向けて送った降伏勧告文が牛島の手元に届いたが、牛島は一笑に付して、これを黙殺している。翌18日に牛島は長と共に自決を決意し、大本営と第10方面軍に訣別電報を打電した後、各部隊に「親愛なる諸子よ。諸子は勇戦敢闘、じつに3ヶ月。すでにその任務を完遂せり。諸子の忠勇勇武は燦として後世を照らさん。いまや戦線錯綜し、通信また途絶し、予の指揮は不可能となれり。自今諸子は、各々陣地に拠り、所在上級者の指揮に従い、祖国のため最後まで敢闘せよ。さらば、この命令が最後なり。諸子よ、生きて虜囚の辱めを受くることなく、悠久の大義に生くべし」と最後の命令を出した。この命令文は参謀の長野が作成し、最後の「生きて虜囚の辱めを受くることなく、悠久の大義に生くべし」の一項を長が付け加え、牛島がいつもの通り黙って裁可したが、この最後の命令が、結果的に終戦まで多くの日本兵や沖縄県民を縛ることとなってしまった。同じ18日に、最高司令官バックナー中将が前線視察中に日本軍の砲撃により戦死しており、21日にこの知らせを大本営経由で知った第32軍司令部は、長や八原をはじめとして全員があたかも戦争に勝利したかのような喜びを覚えたが、牛島はその中でただ一人喜ぶこともなく、「惜しい人物をなくした」とつぶやき、哀悼の情を捧げるようにうなだれていたため、歓喜していた参謀らは牛島の高潔な人柄に感銘し、襟を正している。喜屋武撤退後の戦いで、連合軍はバックナーと第96師団副師団長クラウディウス・M・イーズリー准将の戦死を含む、8,157人の死傷者という大きな損害を被り、戦後に連合国軍最高司令官ダグラス・マッカーサーが戦死したバックナーを「（大損害を受けた）沖縄南部への侵攻は必要なかった。牛島を島の一部に封じ込めておくだけで十分だった」と非難するほどであった。6月22日、牛島らが立て籠もっている摩文仁洞窟の司令部壕に対する連合軍の攻撃が激化し司令部衛兵隊も壊滅したため、牛島は自刃を決意した。まずは司令部壕から外に出て山頂で割腹をしようとしたが、すでに山頂はアメリカ軍の勢力圏下であり、司令部の残存部隊が山頂奪還するため事前に偵察したが、奪還は困難と判明したため、23日未明に山頂での自刃を断念し司令部壕内で切腹することとした。午前3時、牛島は八原ら参謀にスコッチ・ウイスキーのキングオブキングスとパイナップルの缶詰をすすめた。牛島の他に参謀長の長と第32軍の経理部長佐藤三代治大佐も共に自決することになった。長が自決の寸前に「軍司令官閣下、あなたは死なれても極楽でしょう。わたしは、きょうまでの悪業でどうせ地獄落ちです。高橋お伝などがおりましょうから、彼女の番頭にでもなりましょう。三途の川でお別れしなければなりませんな。わっははは」と豪快に笑うと、牛島は「いやいや、わたしは日華事変以来、多数の兵士を失い、この度の沖縄戦でも多数の犠牲者を出しましたから、どうせあなたといっしょに地獄ゆきですよ」と答え、長が「それでは、三途の川では、わたしが閣下をせおっておわたししましょう」といって笑った。まず佐藤が「わたしは年輩だから、お先に楽にゆかせてもらいましょう」といって、司令部壕の入り口で海が見えるところに設けられた3つの自決用の座（地面に白いシーツを敷いているのみ）のうちの一つに座ると拳銃で自決した。その後、午前4時30分、牛島と長は戦闘に汚れた服から陸軍中将の制服に着替えて姿を現し、自決用の座に正座した。長が上着をとると、白地の肌着の背中には“忠則尽命、尽忠報国、長勇”と墨で黒々と自書してあった。長は古式に則った作法で割腹し、牛島も同様に古式に則り銘刀「来国俊」を腹に突き立てた。そして、以前より介錯を頼んでいた次級副官で剣道5段の坂口勝大尉が軍刀で介錯した。介錯した両名の首は、軍司令部専属副官吉野敏中尉と当番兵の高橋兵長が抱いたまま手榴弾で自爆した。遺体は鍾乳洞の自然の穴に埋めたが、今日まで正確な場所は分かっていない。奇しくもこの6月23日は牛島の長女麗子が東京で結婚した日であった。一方、32軍管理部付衛兵司令を務めていた濱川昌也軍曹は自身の回想記「私の沖縄戦記」の中で、牛島と長が自決した日付は22日午前4時30分ごろであるとし、23日自決説は間違いであると自著の中で述べている。また、両名の首の行方についても、高橋兵長と魚住豊明軍属が洞窟外へと運び去ったが、二人とも米軍の捕虜となり、牛島と長の首の在処も判明。6月26日に米軍によって発見されたと記している。これに対し、研究者として沖縄戦の歴史的研究に取り組み沖縄県知事も歴任した大田昌秀は、米国立公文書館から牛島と長勇の最期の様子を記録した文書と二人の遺骸の写真を発見したと主張し、二人の遺骸とされる写真を見る限り、切腹や介錯した後は確認できなかったとしている。この文書には、牛島と長は青酸カリを含んだ注射器によって服毒自殺したと記されているという。濱川軍曹も、牛島と長が自決前、事前に青酸カリを服用されていたようだと自著に記している。しかし、自決現場に立ち合っていた濱川は両者が古式に則った切腹で自害したと証言しており、アメリカ合衆国陸軍省の公式報告書『United States Army in World War II　The War in the Pacific　Okinawa: The Last Battle』でも牛島と長の死因は「Hara-kiri（切腹）」とされている。沖縄憲兵隊の副官だった人物の証言によると、牛島の遺体を確認したいという米軍の要請により摩文仁の軍司令部壕跡に向かうと、司令部壕の下方30〜40メートルのところにあるくぼ地に、同じ場所に並べるように石を積んで埋葬されていた牛島と長参謀長の遺体を確認したという。遺体には首が無く、略章をつけた軍服に白い手袋をしていたとされる。また、第32軍司令部の専属理髪師として最後まで牛島らに同行した軍属の比嘉仁才によれば、比嘉は牛島らの自決には立ち会っていなかったものの、第32軍高級副官葛野隆一中佐の当番兵から、牛島が腹に短刀を突き立てたときに坂口が介錯したが、坂口は流れ弾で腕を負傷していたため仕損じり、その後に藤田曹長が刀をとって介錯したという話を聞いている。自決に立ち合っていた濱川軍曹も、坂口大尉が右手を負傷しており、介錯する際に手許が狂ったようだとしている。享年58歳（満57歳）。牛島は自決の直前に軍司令部の事務員の女性に「この革財布を、遺品として、できたらわたしの家族に渡してください」と二つ折りの革財布を託した。女性事務員は1952年に、郡山市に転居していた牛島の家族を探し出すと、遺品の革財布を君子夫人に届けて夫人を感激させている。