נבחרת הסופטבול זכתה במדליית הכסף, לאחר שגברה בחצי הגמר על נבחרת אוסטרליה והפסידה במשחק הגמר לנבחרת ארצות הברית. נבחרת הבייסבול סיימה במקום הרביעי, לאחר שהפסידה בחצי הגמר לקובה, ובמשחק על מדליית הארד הפסידה לקוריאה הדרומית. נבחרת הגברים בכדורגל הודחה בשלב רבע הגמר בידי נבחרת ארצות הברית, במשחק שהוכרע רק בבעיטות עונשין בתוצאה 4–5. דווקא כוכב הנבחרת, הידטושי נקטה, היה זה שהחמיץ את בעיטת העונשין היחידה.
אולימפיאדת אתונה (2004).
באולימפיאדת אתונה (2004) שבה יפן לצמרת האולימפית, והגיעה להישגים הטובים בתולדותיה - 37 מדליות, מהן 16 מדליות זהב. בסיום המשחקים דורגה במקום החמישי בטבלת המדליות, אחרי ארצות הברית, סין, רוסיה ואוסטרליה.
הענף הבולט ביותר היה הג'ודו, עם עשר מדליות, מהן שמונה מדליות זהב (מתוך 14 אפשריות), כאשר הנשים משיגות חמש מתוך שבע מדליות זהב אפשריות. ריוקו טאני שמרה על תוארה, וארבע ג'ודאיות נוספות זכו במדליות זהב: איומי טאנימוטו, מסאה אואנו, נוריקו אנו ומאקי צוקאדה. יוקי יוקוסאווה זכתה במדליית כסף. אצל הגברים זכה טדאהירו נומורה בתואר האולימפי השלישי ברציפות, והיה לג'ודוקא הראשון בהיסטוריה (והיחיד, נכון ל-2015) שעושה זאת. מסאטו אוצ'ישיבה וקייג'י סוזוקי זכו אף הם במדליות זהב, והירושי איזומי זכה במדליית כסף.
גם בשחייה זכו היפנים לעדנה מחודשת, עם שמונה מדליות, מהן שלוש מדליות זהב. קוסוקה קיטאג'ימה זכה במדליות הזהב במשחים ל-100 ול-200 מטר חזה, באחרון אף קבע שיא אולימפי (2:09.44 דקות). טקאשי ימאמוטו זכה במדליית כסף ב-200 מטר פרפר, וטונומי מוריטה זכה במדליית ארד ב-100 מטר גב. שלושתם, יחד עם יושיהירו אוקומורה, זכו גם במדליית ארד במשחה ל-100X4 מטר מעורב. אצל הנשים זכתה איי שיבאטה במדליית הזהב במשחה ל-800 מטר חופשי, ושתי שחייניות זכו במדליות ארד, רייקו נקאמורה ב-200 מטר גב ויוקו נקאנישי ב-200 מטר פרפר.
המתאבקים היפנים זכו בשש מדליות. היו אלה המשחקים הראשונים בהם נערכו גם תחרויות היאבקות לנשים, והיפניות זכו בארבע מהמדליות, בהן שתי מדליות זהב (סאורי יושידה וקאורי איצ'ו). צ'יהארו איצ'ו זכתה במדליית כסף וקיוקו המאגוצ'י זכתה במדליית ארד, ואצל הגברים זכו צ'יקארה טנאבה וקנג'י אינואואה במדליות ארד. באתלטיקה זכו היפנים בשתי מדליות זהב. מיוזוקי נוגוצ'י ניצחה במרתון וקוז'י מורופושי ניצח ביידוי פטיש. מורופושי זכה בתחילה במדליית הכסף, אך לאחר שהתברר כי בבדיקות סמים שנערכו לזוכה במדליית הזהב, ההונגרי אדריאן אנוס, הוא מסר דגימות שתן השייכות לאנשים שונים, וסירב להתייצב לבדיקה נוספת, נשללה ממנו מדליית הזהב והוענקה למורופושי. גם המתעמלים היפנים שבו וזכו בהישגים, כאשר הנבחרת זכתה בתואר האולימפי, לראשונה מזה 28 שנים. שלושה מהמתעמלים זכו גם במדליות אישיות: הירויוקי טומיטה זכה במדליית כסף במקבילים, איסאו יונדה זכה במדליית ארד במתח וטקהירו קאשימה זכה במדליית ארד בסוס הסמוכות.
בפעם השנייה ברציפות זכו השחייניות הצורניות מיהו טאקדה ומיה טצ'יבאנה במדליית כסף בדואט ובמדליית כסף עם הנבחרת היפנית. הקשת הירושי ימאמוטו זכה במדליית כסף, עשרים שנה אחרי שזכה במדליית ארד בלוס אנג'לס. במדליית כסף נוספת זכו רוכבי האופניים היפנים במרוץ הספרינט הקבוצתי. שייטי ה-470 קזוטו סקי וקנג'ירו טודורוקי זכו במדליית ארד.
נבחרת הבייסבול זכתה במדליית הארד, לאחר שהפסידה בחצי הגמר לנבחרת אוסטרליה, וגברה על נבחרת קנדה במשחק על המקום השלישי. נבחרת הסופטבול הגיע להישג דומה, לאחר הפסד לנבחרת סין וניצחון על נבחרת אוסטרליה. נבחרת הנשים בכדורגל הודחה ברבע הגמר בידי נבחרת ארצות הברית. נבחרת הנשים בכדורעף הודחה אף היא בשלב רבע הגמר, בידי נבחרת סין. נבחרת הנשים בהוקי שדה סיימה במקום השמיני.
אולימפיאדת בייג'ינג (2008).
באולימפיאדת בייג'ינג (2008) זכו היפנים ב-25 מדליות, מהן 9 מדליות זהב, ודורגו במקום השמיני בטבלת המדליות.
הג'ודאים היפנים זכו בשבע מדליות, מהן ארבע מדליות זהב. שתי ג'ודאיות שמרו על תואריהן מאתונה, איומי טאנימוטו (עד 63 ק"ג) ומסאה אואנו (עד 70 ק"ג). אלופה נוספת מאתונה, מאקי צוקאדה הסתפקה במקום השני, וריוקו טאני, שאיבדה אף היא את תוארה לאחר שתי זכיות רצופות, זכתה במדליית ארד, שהייתה המדליה האולימפית החמישית שלה. ג'ודאית נוספת, מיסאטו נקאמורה, זכתה אף היא במדליית ארד. אצל הגברים, מסאטו אוצ'ישיבה (עד 66 ק"ג) שמר על תוארו, וסאטושי אישיאי זכה אף הוא במדליית זהב.
המתאבקים זכו בשש מדליות, מהן שתי מדליות זהב. כל המתאבקות שחזרו את הישגיהן: סאורי יושידה וקאורי איצ'ו זכו במדליות הזהב בפעם השנייה ברציפות, צ'יהארו איצ'ו זכתה במדליית כסף שנייה ברציפות וקיוקו המאגוצ'י זכתה במדליית ארד שנייה ברציפות. טומוהירו מצונאגה וקניצ'י יומוטו זכו כל אחד במדליית כסף.
בשחייה, המשיך קיטאג'ימה המשיך לשלוט במשחי החזה, כאשר קבע שיא עולם במשחה ל-100 מטר (58.91 שניות) ושיא אולימפי במשחה למרחק הכפול (2:07.64 דקות). כן זכה קיטאג'ימה במדליית ארד במשחה השליחים ל-100X4 מטר מעורב. טאקשי מצודה זכה במדליית ארד במשחה ל-200 מטר פרפר ורייקו נקאמורה זכתה במדליית ארד שנייה ברציפות ב-200 מטר גב, וכן סיימה במקום השישי במשחה לחצי המרחק. מספר שחיינים נוספים העפילו למשחי גמר. אצל הגברים היו אלה ריוסוקה אירייה (מקום חמישי ב-200 מטר גב), קן טקאקווה (מקום חמישי ב-200 מטר מעורב אישי), טאקורו פוג'יאי (מקום שישי ב-100 מטר פרפר),
יושיהירו אוקאמורה (מקום שביעי ב-200 מטר חופשי) וג'וניצ'י מיאשיטה (מקום שמיני ב-100 מטר גב). במשחה ל-200X4 מטר חופשי דורגו היפנים במקום השביעי. אצל הנשים היו אלה יוקו נקאנישי (מקום חמישי ב-200 מטר פרפר), אסאמי קיטגאווה (מקום שישי ב-200 מטר מעורב אישי ובמקום שמיני ב-100 מטר חזה), ריה קנטו (מקום שביעי ב-200 מטר חזה), הנאה איטו (מקום שמיני ב-100 מטר גב) ומגומי טאנדה (מקום שמיני ב-200 מטר חזה). במשחה השליחות ל-100X4 מטר מעורב דורגו היפניות במקום השישי, ובמשחה ל-200X4 מטר חופשי דורגו במקום השביעי.
המתעמל קוהיי אוצ'ימורה זכה בשתי מדליות כסף, בקרב-רב ועם הנבחרת היפנית בתחרות הקבוצתית. בנוסף, דורג במקום החמישי בתרגיל הקרקע. הסייף יוקי אוטה זכה במדליית כסף ברומח, הראשונה בענף זה. רוכב האופניים קיופומי נגאי זכה במדליית ארד בקיירין, והשחייניות הצורניות סאהו הראדה ואמיקו סוזוקי זכו במדליית ארד בדואט. באתלטיקה, זכתה נבחרת השליחים בריצת 100X4 מטר במדליית ארד. קוז'י מוריפושי איבד את תוארו ביידוי פטיש, וסיים במקום החמישי. לאחר פסילתם של שני הבלארוסים ואדים דביאטובסקי ואיוואן ציחאן שדורגו לפניו, בשל נטילת חומרים אסורים, הוענקה למוריפושי מדליית הארד. ואולם, בשנת 2010 קיבל בית הדין לבוררות בספורט את ערעורם של הבלארוסים, בשל טעות בבדיקות המעבדה, והמדליות הושבו להם. דירוגו של מוריפושי, אם כן, נותר חמישי.
נבחרת הסופטבול, בטורניר האחרון שנערך לפני הוצאת הענף מהמשחקים האולימפיים, זכתה במדליית הזהב לאחר ניצחון על נבחרת ארצות הברית. מקבילתה, נבחרת הבייסבול, הסתפקה במקום הרביעי לאחר הפסדים לנבחרות קוריאה הדרומית וארצות הברית בשלבי ההכרעה. נבחרת הנשים בכדורגל סיימה אף היא במקום הרביעי, לאחר שהפסידה בחצי הגמר 2–4 לארצות הברית, ובמשחק על מדליית הארד הפסידה 0–2 לגרמניה. נבחרת הנשים בכדורעף הודחה בשלב רבע הגמר בידי נבחרת ברזיל.
אולימפיאדת לונדון (2012).
באולימפיאדת לונדון (2012) צברה המשלחת היפנית 38 מדליות, המספר הגבוה ביותר אי פעם. עם זאת, רק 7 מהן היו מדליות זהב, והיא דורגה במקום ה-11 בטבלת המדליות.
לראשונה מזה 24 שנים, הענף המוביל היה ההיאבקות, עם 6 מדליות, מהן 4 מדליות זהב. בתחרויות הנשים זכו היפניות ב-3 מתוך 4 מדליות הזהב האפשריות. סאורי יושידה וקאורי איצ'ו שמרו על מאזן מושלם וזכו כל אחת במדליית זהב שלישית ברציפות. האלופה האולימפית השלישית הייתה היטומי אוברה. המתאבק היפני הרביעי שזכה במדליית זהב היה טאצוהירו יונמיצו. שיניצ'י יומוטו וריוטארו מאצומוטו זכו במדליות ארד.
רק ג'ודוקא יפנית אחת זכתה במדליית זהב בלונדון, קאורי מצומוטו, ובענף המסורתי דורגה יפן רק במקום הרביעי בטבלת המדליות, אחרי רוסיה, צרפת וקוריאה הדרומית. שלושה ג'ודאים נוספים זכו במדליות כסף: הירואקי היראוקה, ריקי נקאיה ומיקה סוגימוטו. שלושה נוספים זכו במדליות ארד: יושיאה אואנו, מסאשי אבינומה ומסאשי נישיאמה. המתעמל קוהיי אוצ'ימורה זכה במדליית זהב בתרגיל הקרקע ובמדליות כסף בקרב-רב ועם הנבחרת היפנית בתחרות הקבוצתית. במדליית הזהב השביעית זכה המתאגרף ריוטה מוראטה. מתאגרף נוסף, סטושי שימיזו, זכה במדליית ארד.