1945年（昭和20年）、東久邇宮内閣の外務大臣に就任した吉田の懇請で終戦連絡中央事務局（終連）の参与に就任する。GHQの要求に対して白洲はイギリス仕込みの英語で主張すべきところは頑強に主張し、GHQ要人をして「従順ならざる唯一の日本人」と言わしめた。昭和天皇からダグラス・マッカーサーに対するクリスマスプレゼントを届けた時に「その辺にでも置いてくれ」とプレゼントがぞんざいに扱われたために激怒して「仮にも天皇陛下からの贈り物をその辺に置けとは何事か！」と怒鳴りつけ、持ち帰ろうとしてマッカーサーを慌てさせたといわれる。ただしこの逸話については、武相荘のメールマガジンにて『「マッカーサーを怒鳴りつけた男」 と書かれるに至っては、白洲は筋を通してもそんな失礼な男ではなかったと言いたくなります』との記述があり、また、占領期のGHQ関連文章を保管しているバージニア州ノーフォークにある「マッカーサー・アーカイブ」において1945年12月・1946年12月の執務記録、面会予定表、ゲストブックの全てに白洲次郎の名前が見つからない旨を徳本栄一郎が月刊「文藝春秋」に寄稿している。
第二次世界大戦勃発の翌年の1940年（昭和15年）、東京府南多摩郡鶴川村能ヶ谷（のち東京都町田市能ヶ谷）の古い農家を購入し、鶴川村が武蔵国と相模国にまたがる場所にあったことから武相荘（ぶあいそう）と名付け、政治や実業の一線から離れて農業に励む日々を送った。外国への留学時代に日本と諸外国との国力差を痛感した白洲は、当初から戦争に反対の立場を貫いていたが、彼の元にも軍からの召集令状が届いてしまった。　その事を、知己であり当時東部軍参謀長であった辰巳栄一（元駐英陸軍武官・陸軍中将・陸士27期）に嘆くと、辰巳が働きかけ、召集を撤回させた事で、兵役から免れる事が出来た。　同年に長女・桂子がうまれる。
1878年（明治11年）6月から9月にかけ『日本奥地紀行』は執筆され、1880年（明治13年）に "Unbeaten Tracks in Japan"（直訳すると「日本における人跡未踏の道」）として刊行された。冒頭の「はしがき」では「（私の）全行程を踏破したヨーロッパ人はこれまでに一人もいなかった」と記し、また「西洋人のよく出かけるところは、日光を例外として詳しくは述べなかった」と記し、この紀行が既存の日本旅行記とは性格を異にすることを明言している。栃木県壬生町から鹿沼市の日光杉並木に至る例幣使街道では、よく手入れされた大麻畑や街道沿いの景色に日本の美しさを実感したと書いている。また、日光で滞在した金谷邸（カナヤ・カッテージ・イン）にはその内外に日本の牧歌的生活があると絶賛し、ここに丸々2週間滞在して日光東照宮をはじめ、日光の景勝地を家主金谷善一郎および通訳の伊藤とともに探訪する。日光滞在10日目には奥日光を訪れるが、梅雨時の豊かな水と日光に育まれた植生、コケ、シダ、木々の深緑と鮮やかに咲く花々が中禅寺湖、男体山、華厳滝、竜頭滝、戦場ヶ原、湯滝、湯元湖を彩る様を闊達に描写し、絶賛している。街道の終点である湯元温泉にも大変な関心を示し、湯治場を訪れている湯治客の様子を詳らかに記している。またその宿屋（やしま屋）の大変清潔である様を、埃まみれの人間ではなく妖精が似合う宿であると形容し、1泊したうえで金谷邸への帰途に就く。山形県南陽市の赤湯温泉の湯治風景に強い関心を示し、置賜地方を「エデンの園」とし、その風景を「東洋のアルカディア」と評した。『日本奥地紀行』では当時の日本をこう書いている。私はそれから奥地や蝦夷を1200マイルに渡って旅をしたが、まったく安全でしかも心配もなかった。世界中で日本ほど婦人が危険にも無作法な目にもあわず、まったく安全に旅行できる国はないと信じている他には新潟を「美しい繁華な町」としつつも、県庁、裁判所、学校、銀行などが「大胆でよく目立つ味気ない」としたり、湯沢を「特にいやな感じのする町である」と記したり、また黒石の上中野を美しいと絶賛したりしている。他方、「日本人は、西洋の服装をすると、とても小さく見える。どの服も合わない。日本人のみじめな体格、凹んだ胸部、がにまた足という国民的欠陥をいっそうひどくさせるだけである」、また「日本人の黄色い皮膚、馬のような固い髪、弱弱しい瞼、細長い眼、尻下がりの眉毛、平べったい鼻、凹んだ胸、蒙古系の頬が出た顔形、ちっぽけな体格、男たちのよろよろした歩きつき、女たちのよちよちした歩きぶりなど、一般に日本人の姿を見て感じるのは堕落しているという印象である。」と日本人の人種的外観について記している。なおアイヌ人については「未開人のなかで最も獰猛」そうであるが、話すと明るい微笑にあふれると書いている。ほかにもホザワ（宝坂？）と栄山の集落について「不潔さの極み」と表し、「彼らは礼儀正しく、やさしくて勤勉で、ひどい罪悪を犯すようなことは全くない。しかし、私が日本人と話をかわしたり、いろいろ多くのものを見た結果として、彼らの基本道徳の水準は非常に低いものであり、生活は誠実でもなければ清純でもない、と判断せざるをえない」と阿賀野川の津川で書くなど、当時の日本の寒村における貧民の生活について、肯定的な側面と否定的な側面双方を多面的に記述している。なお、現代の阿賀野川では「イザベラ・バード号」と命名された観光船が運航されている。