ホルブルックは「人権外交」を標榜したカーター政権の方針もあり、東アジア・太平洋担当国務次官補として、当時すでに国際問題化していた東ティモール問題にも携わっている。1977年8月には、東ティモールでインドネシア国軍による激しい弾圧が行われているさなかにインドネシアを訪問し、スハルト大統領（当時）と会談した。しかし、この訪問については一部から批判がなされている。メリーランド大学ボルティモア・カウンティ校の助教で、アメリカ国家安全保障アーカイブが進めているインドネシア・東ティモール関連文書収集プロジェクトの責任者も務めるブラッド・シンプソン（Brad Simpson）は、アメリカの報道番組「デモクラシー・ナウ!」に出演した際、司会のエイミー・グッドマンとのやり取りの中で「このホルブルックの訪問は、スハルト政権に対して公式に人権問題改革を要求するための訪問であったとされているが、実際のところホルブルックはスハルトと会見した際、インドネシアの人権状況は改善しているとしてスハルトを賞賛すると共に、インドネシア政府による東ティモールの西側諸国への開放・視察受け入れを歓迎する旨を伝え、その代わりに国軍の厳しい規制下にある地域へ（アメリカの）議員団を立ち入らせる許可を受けた。議員団はこの許可に基づいて規制地域に入り、そこで行われた国軍を歓迎する式典に同席し、歓迎を受けていた」という趣旨のことを述べている。そのうえでシンプソンは、「この訪問の裏側で、ホルブルックと当時国家安全保障問題担当大統領補佐官であったズビグネフ・ブレジンスキーは、連邦議会の人権派議員によるインドネシア向け軍事援助を制限・停止しようという動きを封じ、インドネシアへの武器供与を拡大するべく動いていたのだ」と述べるなど、ホルブルックらがスハルト政権による東ティモールへの弾圧やジェノサイドを容認・黙認していたと非難している。
1976年の夏に『フォーリン・ポリシー』編集部を離れ、同年秋の大統領選挙に向けて選挙戦を戦っていた民主党の大統領候補、ジミー・カーター前ジョージア州知事の陣営に加わり、国家安全保障政策の担当者となった。選挙戦では、対立候補である現職のフォード大統領とのディベート、特に外交政策に関するディベートの準備などでカーターを補佐し、カーター陣営の勝利に貢献した。カーター政権誕生後は、東アジア・太平洋担当国務次官補に任命され、1977年3月31日から1981年1月13日まで同職を務めた。ちなみに東アジア・太平洋担当国務次官補の職は、ホルブルックが「外交政策の師」と仰ぐW・アヴェレル・ハリマンやディーン・ラスク、フィリップ・ハビブらも経験しているポジションであり、また35歳での就任は、同職の前身である極東担当国務次官補のポストが設置されて以降、史上最年少での就任であった。在職中はサイラス・ヴァンス国務長官の主要なアドバイザーの1人として活躍し、東アジア・太平洋地域における東側諸国との関係改善（デタント）や、1978年12月に実現した中華人民共和国との国交樹立・完全国交正常化において主導的な役割を担った。また、当時国際問題にもなっていたインドシナ難民の問題にも取り組み、特に難民問題には生涯を通じて取り組んでいくことになった。
長男ではあるが、6月4日に生まれたことに因んで「四六」というユニークな名前が付けられた。“六四”ではないのは、父親によると「六四だと頭が重くて、下が軽いからフラフラするだろう。四六だと下が大きくて安定する。男が一生、フラフラ生きてどうするのだ」であるためという。秋田商業高校時代は、エースとして1958年の夏の甲子園に出場するも、初戦（2回戦）で板東英二を擁する徳島商業高校と対戦し、自らのエラーもあり0-3で敗れた。高校時代は赤根谷飛雄太郎に指導を受けたという。社会人野球の日立製作所に進み、1962年に日本鉱業日立の補強選手として都市対抗に出場。1回戦で倉敷レイヨンに完投勝利。2回戦では山陽特殊製鋼に0-1とリードされた4回からリリーフで登板。山陽の左腕エース益田昭雄と互いに無失点で投げ合い惜敗するが、好投手として注目を集める。同年9月末に契約金500万円、初任給15万円で国鉄スワローズに入団する。入団契約後に契約金（支度金）を使って、東京有楽町の国鉄球団事務所からタクシーに乗り、途中運転手と温泉宿に1泊して大館の実家まで帰ったといわれる。入団して3年間は勝ち星がなかったが、1965年には対大洋戦での桑田武の1安打のみに抑えた無四球完封勝利を含むチーム2位の8勝を挙げて、この頃から主力投手に加わる。翌1966年からは4年連続二桁勝利、1967年からは3年連続でチーム最多勝を記録して、金田正一が去った後の弱体化したサンケイ（アトムズ）のエース格として、佐藤進・石岡康三らとチームを支えた。この間、別所毅彦が監督に就任した1968年にはペナントレース最終戦の対広島戦で勝利し、金田に次いで球団2人目の20勝を達成（防御率2.84はリーグ8位）。翌1969年も16勝を挙げる。1970年は体調を崩して一転して不調となり、3勝15敗に終わった。7月の対中日戦で11連敗をストップする勝ち星を挙げたのがプロでの最後の勝利になり、また最後の意地でもあった。肝機能障害に慢性胃炎を併発していたこともあり現役を引退。節制が出来ない私生活と、ヤクルト球団との感情のもつれなども影響し、手足の何処にも故障が無いにも関わらずユニフォームを脱ぐことを決意したという。現役引退後は、故郷に戻ってスナック『神宮』を開く。スナックの経営は順調であったが、寿司屋（『球寿司』）に事業の手を拡げて失敗し、失意の晩年を送る。失意の底であった1978年には、ヤクルトが初優勝して記念品として贈られたネクタイピンに涙を流して喜んだという。1980年8月2日に肝硬変のため39歳で没した。