第5師団の指揮下を離れフィリピン攻略の増援のため、歩兵第9旅団長河村参郎少将率いる河村支隊の基幹としてダバオに在った歩兵第41連隊は、1942年（昭和17年）8月4日にダリアオンからパラオ経由で8月17日の午後ラバウルに到着し、ポートモレスビー作戦担当の南海支隊に配属された。堀井富太郎少将率いる南海支隊主力は、同日歩兵第41連隊の到着に先立ちラバウルを発ちブナに向かっていたため、歩兵第41連隊も南海支隊主力を追い8月19日にブナに向いポートモレスビー作戦に参戦した。この間の8月18日に、歩兵第28連隊の一部約900人から成る一木支隊は、ガダルカナル島に上陸し8月21日には壊滅している。南海支隊は栄養失調とマラリアによる犠牲者を出しながらも順調に南下を続けていた。しかし、食糧が尽きかけ一刻も早いポートモレスビー総攻撃を切望し、オーエンスタンレー山脈の北に待機の指示に対し、ポートモレスビーまで約50キロのイオリバイワに迫っていた南海支隊にとって、9月13日の川口支隊のガダルカナル島夜襲失敗の報は驚愕であった。夜襲失敗によりラバウル方面に招致中の青葉支隊も第2師団主力もガダルカナル島方面に向けられることになり、ニューギニア戦線は見捨てられてしまう事態となったのである。なお、9月16日には歩兵第144連隊がイオリバイワの敵陣を奪取したが、倉庫は空だった。まず、歩兵第41連隊主力が9月16日に撤退を始め、オーエンスタンレー山脈の峠に陣地を構築し米豪軍を食い止めることを任務とした歩兵第144連隊第2大隊基幹のスタンレー支隊が編成され陣地造りに先発し、小岩井の指揮する歩兵第41連隊第2大隊が南海支隊後衛となり踏み留まっている間に撤退準備が行われた。撤退は9月25日に開始され10月4日にココダに到着した。しかし10月下旬になると峠の陣地のスタンレー支隊への米豪軍の攻撃が始まり、スタンレー支隊も撤退し、南海支隊はクムシ川河口付近まで後退することになった。このため、10月25日に歩兵第41連隊の部隊が峠の陣地に急行し、小岩井等が後衛となった。小岩井等の後衛部隊は、10月28日まで峠の陣地に踏み留まっ後、10月29日早朝にイスラバ着、夜明けまでに陣地を構築したが追撃はなかった。翌10月30日になるとマラリアで発熱するものが出て、病人を後退させたため後衛部隊は小岩井以下16人になっていた。しかしここでクムシ川河口付近まで後退の予定が変わり、オイビに防衛線を構築することとなりオイビに後退、11月10日にはオイビの陣地からも撤退、またしても小岩井指揮の歩兵第41連隊第2大隊に後衛が命ぜられた。小岩井は、まず自隊の大隊砲を捨て、死んでも武器を放さないことが本分と教えられ、銃を放したがらない疲労した兵を見つけると、自隊の兵他隊の兵を問わず銃を奪い捨ててしまった。視認の効かないジャングルの銃撃戦では発射できる弾丸の量が全てで、米豪軍の自動小銃に対し旧式の三八式歩兵銃など戦力的には殆ど無力であり、元気なものなら武器を携行していることが精神的な支えになるものの、歩くことがやっとの兵には邪魔なものでしが無いからである。こうして撤退を続け、高砂族の一人に教えられた方法で筏を作りクムシ川を渡河し、現地の人の案内でブナの西方約20キロのゴナに向かい、11月24日には偶然にも連隊主力と遭遇、残り少ない兵力ではあるが歩兵第41連隊が一つになり11月26日ゴナにたどりついた。そして、第1大隊をゴナに残し、その夜回航された大発に乗艇しブナとゴナの中間地点にあるギルワに到着した。この頃、事態の容易ならざることにようやく気づいた大本営は、第17軍にはソロモン諸島のみを任せ、ニューギニア戦線担当の第18軍と、第17軍・第18軍を統率する第8方面軍を編成した。新設された第18軍は、欠員となっている指揮官や支隊の補充員に加え、第38師団の歩兵第229連隊と独立混成第21旅団の増派を決め、駆逐艦による輸送を行った。だが、敵襲のため輸送は難航し状況は好転しなかった。そして12月23日にはブナ地区からラエ・サラモア方面への撤退が決定され、海軍の第7根拠地隊が駐屯しているだけだったラエ・サラモア方面に第51師団を向けることにした。すでに12月8日にバサブアは玉砕し、その後12月の末にはブナの飛行場が米豪軍に奪取され、歩兵第144連隊後任連隊長山本重省大佐指揮の増援部隊も壊滅した。残ったギルワは三つの陣地に分れていた。海岸陣地では、山県栗花生少将以下の独立混成第21旅団に独立工兵第15連隊等を加えた部隊が傷病者の後送にあたっており、中央陣地には南海支隊の大部分が、南西陣地には塚本初雄中佐の指揮する歩兵第144連隊主力が陣取っていた。地域全体の指揮は、独立混成第21旅団長山県少将がとっていた。中央陣地の南海支隊の指揮は後任支隊長である小田健作少将がとっていたが、1943年（昭和18年）1月15日には指揮を独立高射砲第47大隊長の淵山中佐に任せ、小田少将以下南海支隊幹部は海岸陣地に後退した。また、連隊長の矢沢清美大佐がブナの救援から戻った後マラリアを発病し後送されたため、歩兵第41連隊は小岩井が指揮していた。そして淵山中佐は高射砲大隊長で地上戦に不慣れなため、小岩井が中央陣地からの撤退の指揮をすることになった。塚本中佐指揮の部隊はオーエンスタンレー山脈からの撤退以来、独断で行動することが多くなっていた。米豪軍の包囲の圧力は日増しに強まり、海岸陣地と中央陣地も分断されてしまっていた1943年（昭和18年）1月19日夜、海岸陣地の小田支隊長から中央陣地の小岩井に命令が届いた。「明晩10時をもってギルワから撤退せよ」ということであった。故意か手違いかブナ地区からの撤退について事前には知らされておらず、1月16日には第18軍司令部に決別電報を打ち、全員揃っての玉砕を覚悟していた中央陣地に動揺が広がった。傷病者の扱いが問題であり、助かる望みの有るものと無いものとが分かれ、団結は崩れてしまった。だが「動けないものは置いて行け」との命令があり、置いて行くほかに道は無かった。衰弱し自決もままらない者が処分を懇願し、その銃声があちこちから聞こえた。1月20日は午後から豪雨になり夜も続いた。午後8時に撤退部隊が集合した。一時は4,000人以上いた将兵であったが、この時集まったのは1,000人余りになっていた。降り続く雨が天の助けだった。目と鼻の先にいる敵にも気づかれなかった。小岩井が倒れたら、指揮は村瀬少佐、近藤大尉、林大尉の順でとることにした。歩兵第41連隊の連隊旗は分解し三つに分け、旗手の有田少尉の他森田中尉と垣井少尉が携行した。おおよそ2時間かけて終結確認を行い、小田支隊長からの命令の午後10時に行動を開始した。虎の尾を踏む思いで手探りに一寸ずりに闇の中を進み、深夜0時頃までにやっと先頭が700～800メートル進んだ。あちこちに電話線が敷設されていたので電話線には触れないよう指示した。午前1時頃ようやく全員が敵の陣地線を通過した。この地点は、野戦病院のあった場所の南に当たり、埋葬する人手がなく死体を放棄した場所であった。その死体の腐敗臭で息もつまりそうだった。「死んだ戦友達の霊が守ってくれたのだ」と語りあった。夜明けまでに3キロほど進んだ。電話線がいたるところに敷設されており、大規模な軍が周到な準備のもとに攻撃しているのが察せられた。午前11時頃、海岸の方から重機音が聞こえた、米豪軍が行く手に自動車道路を造っているのだった。日暮れまで森林中に円陣を敷いて待機した。ここで隊を二つに分け、小岩井と加藤少佐がそれぞれ1隊ずつを率いて進んだが、加藤少佐率いる隊の後ろの隊がいつのまにか小岩井の隊の後ろになっていた。斥候が敵の歩哨と出くわし睨み合いになったこともあったが、何を思ったか敵の歩哨が戻ってしまったすきに全員道路を横断、ジャングルに潜み西へ西へと進んだ。次の日の22日の午後からは、大隊単位ぐらいの100人前後に分け分進することとした。しかしやがて何組かが合流し、概ね2組の縦隊となった。最後の難関のパサブア－ソプタ道を、23日24日の2日間かけて突破した。この時既に食糧は尽き、落伍者が出始めた。小岩井等の隊は1月25日にはじめて部落を発見し食を得た。その後、現地人の踏み分け道を通り、オイビの陣地から撤退した際通ったジャガラハンボの部落に到着、しかし部落は一変し住民は一人もいなかった。ここからは食糧を探しながらの行軍で、進度は遅々としてはかどらなかった。だがクムシ川沿いに道が続いており迷うことはなかった。分進していた部隊は次々に集まり出発当初の編制に戻ったが、人数は目に見えて減っていた。海岸陣地から撤退した者も集まってきたが、その数はあまりにも少なかった。撤退命令を待たず、独断退去した塚本中佐指揮下の部隊の将兵の死体があちこちに倒れていた。その中には、野戦病院退院後、歩兵第144連隊の主力部隊と行動を共にしていた歩兵第41連隊の兵士の死体もあり、暗澹たる思いであった。1月28日にクムシ川河口やや南方のバクンバリにたどりつき、1月30日にかけてクムシ川河口付近に集結、第51師団の先遣隊の一部の部隊に収容され、2月8日に集結地点のマンバレーに到着した。その後歩兵第41連隊はラバウルに集結、病死を含め4,000人以上が戦死、傷病後送された者が約300人、残った者は200人に満たなかった。