父清兵衛、母相馬氏の子として生まれる。新興蒙所の高弟となり佚山と並び称されその書名が高かった。蘐園学を河鹿門（河野恕斎?）に学び、その後老荘思想に傾注し禅に参じた。石見津和野藩主亀井矩貞が散木の書風を敬慕し書の師として招聘した。剣術・弓術をはじめ篆刻・琴・菊花（園芸）や養禽などの諸芸に通じた。享年74。墓所は浄春寺（大阪市天王寺区）。自印譜に『南龍先生印譜』がある。
東京都生まれ。1960年、東京教育大学附属高等学校（現・筑波大学附属高等学校）を卒業。高校の同期には、畔柳信雄（元三菱UFJフィナンシャル・グループ社長）、島村英紀（元国立極地研究所所長）、星出豊（昭和音楽大学教授）、松本元（脳科学者）、横田洋三（国連大学学長特別顧問）などがいる。1965年に東京大学教養学部教養学科国際関係論分科を卒業し、同年4月に通商産業省に入省。同期に江崎格（商工中金理事長）、中川勝弘（トヨタ副会長）らがいる。在職中の1972年、イェール大学大学院に留学し、経済学修士を取得。世界銀行エコノミスト、通商産業大臣官房地方課長を経て、1990年2月通商政策局経済協力部長、1990年8月外務省在アメリカ合衆国日本国大使館公使。1992年6月より務めていた通産大臣官房審議官(地球環境問題担当)を最後に1993年退官。1993年9月サントリー株式会社常務取締役に就任。2000年7月第2次森内閣で、民間から環境庁長官に任命され、国務大臣として入閣。中央省庁再編により、2001年1月より初代環境大臣を務める。続く第1次小泉内閣でも環境大臣に再任されたが、田中眞紀子外務大臣更迭により、2002年2月より外相に横滑りする。混乱の多かった田中前外相時代に比べ、実務的に外交課題を処理したが、与党内に基盤を持たない民間人閣僚としての限界も指摘され、田中前外相時代に引き続き、福田康夫内閣官房長官の外交面で影響力が指摘された。一方、北朝鮮問題やアフガン戦争、イラク戦争、日中・日韓関係の悪化等、困難な外交問題にも直面した。外相在任中には在上海総領事館員が中国側から外交機密等の情報提供を強要され自殺する事件（上海総領事館員自殺事件）が発生するが、コメントを一切発表しなかった。川口の対応に抗議し、河野太郎が外務委員会理事を辞任した。2004年9月、内閣改造により外務大臣を退任（後任は同じ元通産官僚の町村信孝）し、内閣総理大臣補佐官（外交担当）に就任。2005年10月、参議院神奈川県選挙区の補欠選挙に自由民主党公認で立候補し、初当選した。2007年3月、ギラン・バレー症候群を発症。病状は重度のものではなく、車椅子によるリハビリ生活を送りながら、同年7月の第21回参議院議員通常選挙に比例区から立候補し、再選。2008年、日豪で呼びかけている賢人会議「核不拡散・核軍縮に関する国際委員会」の共同議長に就任。同年米日財団理事就任。2010年財団法人東芝国際交流財団評議員就任。2011年4月14日、東日本大震災の復興補正予算が議論される中、復興予算捻出のためのODA削減案に反対する超党派の勉強会に参加した。同年より公益財団法人笹川平和財団理事。2013年4月23日、アジア平和・和解評議会の一員として、中国の中華人民外交学会の招聘により訪中する。滞在は、4月24日までの予定も、楊潔篪国務委員（副首相級、外交担当）との会談のため、25日まで滞在の延長を、参議院議院運営委員会に申請するも認められなかったが、滞在の延長を決める。結果として、25日開催予定であった参議院環境委員会が流会となった、同年5月7日、民主党などの野党7党が参議院に川口に対して環境委員長解任決議案を提出し、5月9日の参議院本会議において解任決議案が投票総数230票、賛成123票、反対107票となり、野党8党の賛成多数で可決した。衆参通じて国会の常任委員会委員長が解任されたのは憲政史上初めて。この解任案について主要全国紙は批判する社説を掲載した。川口は中国要人との会談の国益を主張して野党の対応を批判し、首相の安倍晋三が「尖閣諸島の問題も議論された。日本の立場を主張するのは有意義だった」と川口を擁護した一方、民主党幹事長の細野豪志は、この訪中は「公務でなく個人的な渡航」であり「委員長は国会運営に大きな責任を持つ立場であり、帰ってくるべきだった」と批判、日本維新の会国会議員団幹事長の松野頼久は「立法府の常任委員長にとって委員会審議以上に重要なことはない。あくまで外交権は政府に属する。そこはちょっと勘違いされている」と述べている。なお、そもそも楊との「会談」がどのようなものであったのか明らかにされておらず、日中外交筋は「握手して立ち話をした程度。国益上、必要な会合だったとは思えない」と語ったと報道されている。2013年7月の第23回参議院議員通常選挙には立候補せず、政界を引退した。同年6月、認定特定非営利活動法人言論NPOアドバイザリーボード就任。明治大学国際総合研究所客員教授を経て、2013年11月に明治大学国際総合研究所特任教授、明治大学研究・知財戦略機構特任教授に就任。2014年6月には豊田通商株式会社取締役にも就任した。2015年6月にはさらに石油資源開発株式会社取締役に就任した。2017年4月29日付の春の叙勲で、旭日大綬章を受章。2019年2月24日に国立劇場で政府主催により開催された天皇陛下御在位三十年記念式典に出席し、内堀雅雄福島県知事とともに国民代表の辞を述べた。