トルーマンは広島への原爆投下について1958年のCBSのインタビューで「まったく心が痛まなかった」と語り、公式的な場でも原爆投下を正当化し続けていた。だが、トルーマンは原爆投下直後に深い後悔の念を抱いていたこと、トルーマン自身が一般市民を犠牲にする行為に反対していたこと、トルーマン政権と軍の間に知られざる攻防があったことが近年明らかになった。原爆による最大の破壊効果を得るために選ばれたのは東京湾から佐世保までの17か所であったが、その中でも広島と京都が有力候補に上がっており、「マンハッタン計画」で原爆計画の責任者を努めていたレスリー・グローブス准将は京都を推した。グローブスは「京都は外せなかった。最初の原爆は破壊効果が隅々まで行き渡る都市に落としたかった」と述べていた。しかし、陸軍長官のヘンリー・スティムソンはかつて京都を2度訪問し、原爆を投下すれば、おびただしい数の市民が犠牲になることを認識していたためこの案を却下した。一方、グローブスはスティムソンとの面会から1か月後、京都に軍事施設があるという報告書を作成し、京都駅や絹織物の糸を作る紡績工場を軍事施設として報告していた。京都への投下は国益を損なうと考えていたスティムソンはグローブスの提案を認めようとはしなかった。1945年7月16日、ニューメキシコ州で世界初の原爆実験が成功。一方で、日本ではすでに多くの都市が空襲で焼け野原となり降伏は間近と見られ、グローブスは戦争が終わる前に原爆を使わなければならないと考えた。原爆実験から５日後、スティムソンに部下から緊急の電報が届き、軍は京都への原爆投下をまだ諦めていなかった。スティムソンはトルーマンに報告し京都を外すよう求め、トルーマン自身は7月25日の日記に「この兵器は今から8月10日の間に日本に対して使う予定になっている。私は陸軍省長官のスティムソン氏に、使用に際しては軍事目標物、兵隊や水兵などを目標とし、女性や子どもを目標としないようにと言っておいた。いかに日本が野蛮、冷酷、無慈悲かつ狂信的とはいえ、世界の人々の幸福を推進するリーダーたる我々が、この恐るべき爆弾を日本の古都や新都に対して落とすわけにはいかないのだ。この点で私とスティムソンは完全に一致している。目標は純粋に軍事物に限られる。」と記していた。しかし、トルーマンのもとに軍から届いた新たな投下目標を記した報告書の最初にあげられていたのは広島で、目標選定を行っていたグローブスたちが意図的に騙すために報告書には、「広島は日本有数の港と軍事物資の供給基地など軍の大規模施設が集まる陸軍都市である」と述べられていた。トルーマンは広島に原爆を投下しても一般市民の犠牲はほとんどないと思い込んでしまい、結局トルーマンが投下目標から広島を外すことはなかった。1945年7月25日、「最初の原爆を広島、小倉、新潟、長崎のうちのひとつに投下せよ。２発目以降は準備ができ次第投下せよ」とグローブスが起草した原爆投下指令書が発令された。1945年8月6日、午前1時45分、部隊はテニアン島を離陸。そして8時15分に広島に原爆が投下された。ポツダム会談の帰り道にトルーマンは大西洋の船上と船中で演説を開始し、「先ほどアメリカ軍は日本の軍事拠点ヒロシマに１発の爆弾を投下した。原子爆弾がこの戦争を引き起こした敵の上に解き放たれたのだ」とあくまでも軍事目標に落としたと強調した。一方、ワシントンで報告を受けたグローブスは、原爆を開発した科学者に電話し「君たちを誇りに思う」とねぎらった。8月8日、トルーマンがワシントンに戻った直後、スティムソンはトルーマンの元を訪ねた。そして広島の被害をとらえた写真を見せ、トルーマンは「こんな破壊行為をしてしまった責任は大統領の私にある。」と述べている。しかし、動き始めた軍の作戦は止まることなく暴走し、同じ日、原爆は長崎にも投下された。トルーマンは友人である民主党のリチャード・ラッセル上院議員に送った手紙に、「個人的には、一国の指導者の“強情”のために集団を全滅させる必要性があるのか、明らかに後悔している」と心境を吐露していた。また、「一つ言っておくが、私は原爆が全体に必要でない限り、使用しない」と日本を降伏させるためにやむを得ない措置であることを強調。さらに「ソ連が戦争に介入すれば、日本は非常に短期間で降伏するだろう」とも記していた。トルーマンは「私の目的は、できるだけ多くの米国人の命を救うこと」とする一方、日本に対しては「日本の男性と子供たちには人間として同情を感じている」「私は日本が非常に残酷で野蛮な戦争国家だと知っている。だが、我々も彼らと同じように行動しなければならないとは思わない」と複雑な心境を抱いていることを明かしている。書簡を送られたラッセル議員は原爆投下2日前の8月7日にトルーマンに、「もし我々が、（日本を無条件降伏させるのに）十分な数の原爆を保有していないなら、原爆ができ上がるまで、TNT爆弾でも焼夷弾で攻撃を続ける必要がある」などと、日本への徹底的な攻撃を促す電報を送っていた。8月10日、トルーマンは全閣僚を集め、これ以上の原爆投下を中止する決断を伝え、この場で「新たに10万人、特に子どもたちを殺すのは考えただけでも恐ろしい」と発言し、「大統領の許可なしに今後の使用は停止される」と決定した。アメリカ・キリスト教会連盟の原爆投下抗議の電報に対し、8月11日にトルーマンは「8月9日付の電報を頂き感謝いたします。私ほど原爆の使用に心を痛めている人間はいません。しかし、私は日本の宣戦布告なき真珠湾攻撃と戦争捕虜の虐殺にも非常に心を痛めました。日本人が理解する唯一の言葉というのは、私たちが日本人に対して原爆投下をすることのように思えます。獣（beast）と接するときは、それを獣として扱わなければなりません。非常に残念なことでありますが、それが真実です。」と返答した。トルーマンはその事実を覆い隠そうとし、長崎への原爆投下の24時間後、国民に向けたラジオ演説で「戦争を早く終わらせ多くの米兵の命を救うため原爆投下を決断した」と用意されていた原稿にはなかった文言が加えられた。研究者はこの言葉が、市民の上に投下した責任を追及されないよう後付けで考えられたものだと指摘する。スティーブンス工科大学アレックス・ウェラースタイン准教授は「トルーマンは軍の最高司令官として投下の責任を感じていました。例え非道な行為でも投下する理由があったというのは大統領にとって都合の良い理屈でした。このとき、命を救うために原爆を使ったという物語が生まれました。世論を操作するため演出されたのです」と述べている。スティムソンは、原爆投下に対する批判を抑えるために、「原爆投下によって、戦争を早く終わらせ、100万人のアメリカ兵の生命が救われた」と表明した（1947年2月）。トルーマンの孫のクリフトン・トルーマン・ダニエルは韓国聯合ニュースのインタビューに対し「祖父のトルーマン大統領は広島と長崎の原爆被害の惨状に大きな衝撃を受け、このために朝鮮戦争時に原爆を使用しなかった」と証言している。トルーマンは朝鮮戦争では「原爆使用の可能性を排除しない。」との構えを見せながらも、記者会見では「原爆は恐ろしい兵器であり、（北朝鮮の）侵略に関係のない無実の人びとや女性、子供に対して使用すべきではない。」と述べて、中国に対する原爆使用を主張したマッカーサー国連軍司令官を解任した。1962年ある教授がトルーマンに「大統領として何か悔いることがありますか。」との質問に、「もちろん原爆だ。」と答え、「原爆投下の悪夢にうなされ続けており、大きな失敗を犯したと思っているが、原爆投下の決定を公に取り消すわけにはいかないので、それを抱えて生きるしかない。」と述懐した。1964年、ミズーリ州インデペンデンス市のトルーマン図書館でトルーマンはアメリカに訪問した被爆者と面会したことがあり、世界平和研究使節団親善大使の松本卓夫と会談した。トルーマンは被爆者に対し「原爆を投下したのは日本人のためでもあった」と説明していたものの、最後まで目を合わさず、面会は3分程で打ち切られた。