הישגיה של יפן עם שובה למשחקים באולימפיאדת הלסינקי (1952) היו נמוכים יחסית לשתי האולימפיאדות הקודמות בה השתתפה: 9 מדליות, בהן מדליית זהב אחת, בה זכה המתאבק שוהאצ'י אישיאי. מתאבק נוסף, יושו קיטאנו, זכה במדליית כסף. ארבעה מתעמלים זכו לראשונה במדליות בענף זה: בתרגיל הקפיצות זכה מסאו טקמוטו במדליית כסף, ובמדליית הארד חלקו טקאשי אונו וטדאו אואסאקו. אואסאקו זכה גם במדליית כסף בתרגיל הקרקע. השחיין הירושי סוזוקי זכה בשתי מדליות כסף, במשחה ל-100 מטר חופשי ובמשחה השליחים ל-200X4 מטר חופשי. שחיין נוסף, שירו השיזומה, זכה במדליית כסף במשחה ל-1500 מטר חופשי.
אולימפיאדת מלבורן (1956).
באולימפיאדת מלבורן (1956) שבה יפן והשיגה הישגים רבים - 19 מדליות, מהן 4 מדליות זהב, שהקנו לה את המקום העשירי בטבלת המדליות. המדליות הושגו בשלושה ענפים בלבד: התעמלות, שחייה והיאבקות.
המתעמלים זכו ב-11 מדליות, בהן מדליית זהב אחת. המתעמל הבולט ביותר היה טקאשי אונו, שזכה במדליית זהב בתרגיל המתח, במדליות כסף בתרגיל על סוס הסמוכות ובתרגיל הקרב-רב, במדליית ארד בתרגיל המקבילים, והיה שותף גם לזכייתה של הנבחרת היפנית במדליית הכסף בתחרות הקבוצתית. מסאמי קובוטה זכה במדליית כסף בתרגיל המקבילים ובמדליית ארד בתרגיל הטבעות, נובויוקי אאיהרה זכה במדליית כסף בתרגיל הקרקע, ומסאו טקמוטו זכה בשלוש מדליות ארד, בתרגילי המתח, המקבילים והטבעות.
השחיינים זכו בחמש מדליות. מאסארו פורוקאווה זכה במדליית הזהב היחידה בענף זה, במשחה ל-200 מטר חזה, וסגנו היה מאסאהירו יושימורה. צויושי ימנקה זכה בשתי מדליות כסף, במשחים ל-400 ול-1500 מטר חופשי, וטקאשי אישימוטו זכה במדליית כסף במשחה ל-200 מטר פרפר. המתאבקים זכו בשלוש מדליות. שוזו ססהארה ומיטסואו איקדה זכו במדליות זהב, ושיגרו קסהארה זכה במדליית כסף.
אולימפיאדת רומא (1960).
גם באולימפיאדת רומא (1960) שמרה יפן על הישגים גבוהים. ספורטאיה זכו ב-18 מדליות, מהן 4 מדליות זהב, והיא דורגה במקום השמיני בטבלת המדליות.
9 מהמדליות, ובהן כל מדליות הזהב, הושגו בהתעמלות. טקאשי אונו זכה במדליות זהב בתרגילי המתח וסוס הקפיצות (את האחרונה חלק עם בוריס שאחלין), במדליית כסף בקרב-רב ובמדליות ארד בתרגילי הטבעות והמקבילים. נובויוקי אאיהארה זכה במדליית זהב בתרגיל הקרקע, מסאו טקמוטו זכה במדליית כסף במתח ושוג'י צורומי זכה במדליית ארד בסוס הסמוכות. ארבעתם היו שותפים לזכייתה של הנבחרת היפנית במדליית הזהב בתחרות הקבוצתית.
השחיינים היפנים זכו ב-5 מדליות, אף אחת מהן לא מזהב. צויושי ימנאקה זכה במדליות כסף במשחה ל-400 מטר חופשי ובמשחה השליחים ל-200X4 מטר חופשי, יושיהיקו אוסאקי זכה במדליית כסף במשחה ל-200 מטר חזה ובמדליית ארד במשחה השליחים ל-100X4 מטר מעורב, וסאטוקו טנאקה זכתה במדליית ארד במשחה ל-100 מטר גב. המתאבק מסאיוקי מצובארה ומרים המשקולות יושינובו מיאקה זכו במדליות כסף, ובמדליות ארד זכו המתאגרף קיושי טנאבה והקלע יושיהיסה יושיקאווה (בירי באקדח).
אולימפיאדת טוקיו (1964).
באולימפיאדה אותה אירחה הגיעה יפן להישגי שיא - 29 מדליות, מהן 16 מדליות זהב, שהקנו לה את המקום השלישי בטבלת המדליות, אחרי ארצות הברית וברית המועצות.
גם במשחקים אלה היה ההתעמלות הענף הבולט ביותר, עם 10 מדליות, מהן 5 מדליות זהב. נבחרת הגברים שמרה על תוארה בתרגיל הקבוצתי, ובתרגילי היחידים בלטו יוקיו אנדו (מדליות זהב בקרב-רב ובמקבילים, ומדליית כסף בתרגיל הקרקע), טקוג'י היאטה (מדליית זהב בטבעות), הרוהירו ימאשיטה (מדליית זהב בסוס הקפיצות) ושוג'י צורומי (מדליות כסף בתרגילי הקרב-רב, המקבילים וסוס הסמוכות). הנשים זכו במדליית ארד בתרגיל הקבוצתי.
המתאבקים היפנים זכו ב-6 מדליות. חמישה מהם זכו במדליות זהב: צוטומו הנהארה, מסמיצו איצ'יגוצ'י, יושיקצו יושידה, יוג'ירו אואטאקה ואוסאמו וטנאבה, ואיוואו הוריוצ'י זכה במדליית ארד. הג'ודו, ענף יפני מסורתי, היה לענף אולימפי לראשונה במשחקים אלה. היפנים ציפו לזכות בכל התחרויות שנערכו, אך זכו רק בשלוש מתוך הארבע (טקהידה נקטאני, איסאו אוקאנו ואיסאו אינוקומה). בקטגוריית המשקל הפתוח, נוצח אקיו קמינגה בידי ההולנדי אנטון חיסינק, והסתפק במדליית הכסף.
מרים המשקולות יושינובו מיאקה, שזכה במדליית כסף ברומא, שיפר את הישגו והיה למרים המשקולות היפני הראשון שזוכה במדליית זהב אולימפית. שני יפנים נוספים, שירו איצ'ינוסקי ומסושי אואוצ'י, זכו במדליות ארד. המתאגרף טקאו סקוראי שהיה ליפני הראשון שזוכה במדליית זהב אולימפית. דווקא על אדמת יפן, פחתו הישגי השחיינים באופן משמעותי, והם הסתפקו במדליית ארד אחת, במשחה ל-200X4 מטר חופשי. הקלע יושיהיסה יושיקאווה זכה במדליית ארד שנייה ברציפות בירי באקדח, ובמדליית ארד נוספת זכה רץ המרתון קוקיצ'י צובראיה.
בענפי הספורט הקבוצתי בלטו נבחרות הכדורעף. נבחרת הנשים זכתה במדליית הזהב לאחר שסיימה את משחקיה ללא הפסד, ונבחרת הגברים זכתה במדליית הארד, לאחר שדורגה אחרי נבחרותיהן של ברית המועצות וצ'כוסלובקיה. נבחרת הכדורגל העפילה לרבע הגמר, אך הובסה בידי נבחרת צ'כוסלובקיה בתוצאה 0–4. נבחרת ההוקי סיימה במקום השביעי.
אולימפיאדת מקסיקו סיטי (1968).
יפן שמרה על הישגים גבוהים גם באולימפיאדת מקסיקו סיטי (1968), בה זכו ספורטאיה ב-25 מדליות, מהן 11 מדליות זהב, ושוב דורגה במקום השלישי בטבלת המדליות, אחרי ארצות הברית וברית המועצות.
ההתעמלות שוב סיפקה את מרבית המדליות - 12, מהן 6 מדליות זהב. נבחרת הגברים זכתה בתואר הקבוצתי בפעם השלישית ברציפות. בתרגילי היחידים היה אקינורי נקיאמה המתעמל היפני הבולט ביותר. הוא זכה במדליות זהב במקבילים, בטבעות ובמתח (את האחרונה חלק עם מיכאיל וורונין) במדליית כסף בתרגיל הקרקע ובמדליית ארד בקרב-רב. נקיאמה היה לספורטאי המעוטר ביותר במדליות זהב במשחקים אלו ביחד עם ורה צ'סלבסקה מצ'כוסלובקיה. סוואו קאטו זכה במדליות זהב בקרב-רב ובתרגיל הקרקע ובמדליית ארד בתרגיל הטבעות. יוקיו אנדו הסתפק הפעם במדליית כסף בסוס הקפיצות ובזכייה הקבוצתית, טאקשי קאטו זכה במדליית ארד בתרגיל הקרקע ואייזו קנמוצו זכה במדליית ארד במתח.
גם המתאבקים הגיעו להישגים גבוהים - 5 מדליות, מהן 4 מדליות זהב. יוג'ירו אואטאקה זכה במדליית זהב שנייה ברציפות, ובמדליות זהב נוספות זכו שיגאו נקאטה, מסאקי קאנקו ומונג'י מונמורה. מתאבק נוסף, הידאו פוג'ימוטו, זכה במדליית כסף. מרים המשקולות יושינובו מיאקה שמר על תוארו, מאסושי אואוצ'י זכה במדליית כסף ויושיוקי מיאקה זכה במדליית ארד. רץ המרתון קנג'י קימיהארה זכה במדליית כסף, והמתאגרף אייג'י מוריוקה זכה במדליית ארד.
שתי נבחרות הכדורעף זכו במדליות כסף, שתיהן כסגניותיה של נבחרות ברית המועצות. נבחרת הכדורגל זכתה במדליית הארד, לאחר שהובסה בחצי הגמר 0–5 בידי נבחרת הונגריה, ובמשחק על המקום השלישי גברה במפתיע על המארחת מקסיקו 0-2.
אולימפיאדת מינכן (1972).
באולימפיאדת מינכן (1972) זכו הספורטאים היפנים ב-29 מדליות, מהן 13 מדליות זהב. יפן דורגה במקום החמישי בטבלת המדליות, אחרי ברית המועצות, ארצות הברית, גרמניה המזרחית וגרמניה המערבית.
16 מהמדליות ו-5 ממדליות הזהב הושגו בהתעמלות. בפעם הרביעית ברציפות זכו המתעמלים היפנים במדליית הזהב בתרגיל הקבוצתי, ומתעמלים יפנים חלקו ביניהם את כל 3 המדליות בקרב-רב ובתרגילי המקבילים והמתח. סוואו קאטו זכה במדליות זהב בקרב-רב ובתרגיל המקבילים ובמדליות כסף בתרגילי המתח וסוס הסמוכות. אקינורי נקיאמה זכה במדליית זהב בתרגיל הטבעות, במדליית כסף בתרגיל הקרקע ובמדליית ארד בקרב-רב. מיצו צוקהרה זכה במדליית זהב במתח ובמדליית ארד בטבעות, שיגרו קסמאצו זכה במדליית כסף במקבילים ובמדליות ארד במתח ובקרקע, ואייזו קנמוצו זכה במדליית כסף בקרב-רב ובמדליות ארד במקבילים ובסוס הסמוכות.
לאחר שהג'ודו נקבע סופית כענף רשמי, שבו הג'ודאים היפנים וזכו להישגים בענף - ארבע מדליות, בהן שלוש מתוך שש מדליות הזהב האפשריות (כולן במשקלים הנמוכים). זוכי מדליות הזהב היו טקאו קוואגוצ'י, טויוקאזו נאמורה ושינובו סקינה. מוטוקי נישימורה זכה במדליית ארד. גם המתאבקים השיגו הישגים נאים במינכן - ארבע מדליות, מהן שתי מדליות זהב: קיומי קאטו והידאקי ינאגידה זכו במדליות זהב, וקיקואו ואדה וקואיצ'ירו היריאמה זכו במדליות כסף. לאחר מספר אולימפיאדות בהן הגיעו השחיינים היפנים להישגים נמוכים, שבו היפנים לככב בבריכת השחייה. נובוטאקה טאגוצ'י זכה במדליית זהב ב-100 מטר חזה, עם שיא עולם חדש (1:04.94 דקות) ובמדליית ארד במשחה למרחק הכפול. מיומי אאוקי זכתה במדליית הזהב במשחה ל-100 מטר פרפר, עם שיא אולימפי חדש (1:03.34 דקות).
נבחרת הגברים בכדורעף זכתה במדליית הזהב, לאחר שגברה במשחר הגמר על גרמניה המזרחית, ואילו מקבילתה הנשית זכתה במדליית הכסף לאחר הפסד לנבחרת ברית המועצות.
אולימפיאדת מונטריאול (1976).
גם באולימפיאדת מונטריאול (1976) דורגה יפן במקום החמישי (אחרי ברית המועצות, גרמניה המזרחית, ארצות הברית וגרמניה המערבית), לאחר שספורטאיה צברו 25 מדליות, מהן 9 מדליות זהב.