1907年9月16日、アメリカ合衆国ミシガン州のリッチモンドに生まれる。スタンフォード大学に進学して1929年に学位を修得。その後は1941年までカリフォルニア工科大学で研究員としてPh.D（博士号）修得のためアンダーソンの共同研究者となり、1937年にウィルソンの霧箱を用いて宇宙線の中からミュー粒子を発見した。なおミュー粒子は発見当時、電子のほぼ200倍の質量を持つ粒子として報じられた。アンダーソンらが発見した粒子を新たな中間子（ミュー粒子）と裏付けた人物は日本の物理学者湯川秀樹やアメリカの物理学者ロバート・オッペンハイマー、スイスの物理学者エルンスト・シュテュッケルベルクによって確認された。1941年から1943年まで第二次世界大戦のためアメリカ国立標準技術研究所に務め、1946年にロスアラモス国立研究所でオッペンハイマーらのマンハッタン計画に参加した。1946年よりワシントン大学で助教授を務め、後に教授となり1973年にはワシントン大学の名誉教授となった。1982年にエンリコ・フェルミ賞を受賞。1988年1月29日、ワシントン州のシアトルで亡くなる。
東は本郡東志和村、西は安佐郡狩小川村に連り、南は安芸郡上瀬野村、北は高田郡三田村に接し、東南は瀬野川を以て本郡川上村と境し、東北は同郡志和堀村、西南は安芸郡下瀬野村と隣する。『和名抄』、賀茂郡志芳郷の西部に当たる。
父は海兵隊に所属する軍人であり、第二次世界大戦中はノースカロライナ州で上陸訓練を繰り返したのちにダウンフォール作戦に参戦するよう命じられたが、太平洋戦争の終結により作戦は中止され生き延びた。母はスイス人であり、のちにアメリカ市民権を取得した。そのため、ズムワルト家では、スイスの建国記念日になると毎年スイス国旗を掲げていた。妻のアン・カンバラは、広島にルーツを持つコロラド州出身の日系アメリカ人。ジェームスと同じく国務省で外交官を務めており、ともに駐日大使館に勤務した際に知り合って結婚した。アンは結婚後も国務省に勤務しており、東京アメリカンセンター館長などを歴任している。なお、アンは自身の氏名の日本語表記には片仮名を使用しているが、漢字表記での姓は「神原」である。
ジョージ・W・ブッシュの後任としてバラク・オバマが大統領に就任したが、駐日大使の人事はなかなか発令されなかったため、その間はズムワルトが臨時代理大使として駐日大使館を率いた。その後、オバマは駐日大使にジョン・ルースを充てる人事を発表した。ルースが皇居に参内し信任状捧呈式が行われたため、それにともないズムワルトは臨時代理大使を2009年8月20日に退任した。退任後は駐日大使館にて再び首席公使に戻った。2011年の東北地方太平洋沖地震に際しては、首席公使として対応にあたった。同年末、首席公使を退任し、ジョセフ・ドノヴァンの後任として国務省の次官補代理（東アジア・太平洋担当）に就任した。在日米軍の再編・基地返還交渉などにも携わっており、外務省北米局参事官の秋葉剛男、防衛省防衛政策局次長の黒江哲郎らとの協議にて、空軍嘉手納飛行場以南の軍事施設を先行返還することで合意している。
2006年、ブッシュ政権にて、国務省東アジア・太平洋局日本部の部長に抜擢された。以来、国務長官のコンドリーザ・ライスの下で、対日政策の取り纏めに奔走する。2008年からは、駐日大使館の首席公使として日本に赴任した。ジョージ・W・ブッシュの大統領任期満了にともない、ジョン・トーマス・シーファーが駐日アメリカ合衆国大使を退任したため、ズムワルトが2009年1月15日に臨時代理大使に昇任した。
1950年代後半から1960年代初頭の冷戦下、大気圏核実験による放射性降下物の影響に対する懸念が医師の間で広がり、1961年に、ボストンの医師たちにより、社会的責任を果たすための医師団（Physicians for Social Responsibility：PSR）が結成された。1979年から1980年初頭、軍拡競争の高まりを受けて、PSRのバーナード・ラウンは、ソ連のエーゲニィー・チャゾフに核戦争を防止するための米ソの医師からなる運動を提案した。1980年2月、PSRは医学と核戦争に関するアメリカ大会を初めて開き、ジミー・カーター大統領とレオニード・ブレジネフ書記長に対して米ソからなる医学組織の設立に対して支持するように公開書簡で説得を行い、12月にはIPPNW設立のための会合がジュネーヴで開催され、IPPNWが設立された。IPPNWの最初の世界会議は1981年にアメリカで開催され、12カ国から80人の医師が参加し、1988年に開かれた8回目の世界会議には80カ国近くの国から2500人の医師が参加した。1984年、ユネスコ平和教育賞（UNESCO Prize for Peace Education）を受賞。1985年、核戦争がもたらす破滅的な結末について信頼できる情報と理解を広めた貢献によってノーベル平和賞が受賞され、IPPNWを代表し創設者のバーナード・ラウン教授とエーゲニィー・チャゾフ教授が招待された。チェルノブイリ原子力発電所事故から25年後の2011年を迎え、IPPNWのドイツ支部はチェルノブイリ事故の影響に関する報告書を発表した。2011年3月に発生した福島第一原子力発電所事故では、日本政府の定めた20ミリシーベルト基準に対して子供の被曝許容量としては高すぎるとして撤回するよう抗議の書簡を送っている。福島原発事故に関しては、ウェブやビデオメッセージなどでも情報を発信している。