עם כניסתו לתפקיד, מיקד את תשומת לבו למלחמה בחזית היפנית, אשר לפי הציפיות הייתה צפויה להימשך שנה ויותר. באוגוסט, כאשר מיאנה יפן להיכנע לאחר אולטימטום סופי בפוטסדאם, התכוננה ארצות הברית לפלישה ליפן. למרות זאת אישר טרומן את הטלת שתי פצצות האטום על הירושימה ועל נגסאקי. פצצת האטום שכונתה "ילד קטן" הוטלה על העיר הירושימה ב-6 באוגוסט 1945, ופצצה גרעינית נוספת שכונתה "איש שמן" הוטלה על העיר נגסאקי שלושה ימים לאחר מכן, ב-9 באוגוסט. הטלת שתי פצצות האטום על יפן הייתה השימוש המבצעי הראשון, וכן היחיד, שנעשה בנשק גרעיני עד היום. שישה ימים לאחר הטלת פצצת האטום על נגסאקי, הודיעה ההנהגה היפנית על הסכמתה לקבלת תנאי הצהרת פוטסדאם מן הוועידה ועל כניעה לבעלות הברית ללא תנאי.