בשתי האולימפיאדות הבאות פחתו הישגיה של דרום אפריקה. באולימפיאדת פריז (1924), זכו ספורטאיה ב-3 מדליות, אחת מכל סוג. במדליית הזהב זכה המתאגרף ויליאם סמית'. סידני אטקינסון זכה במדליית כסף בריצת 110 מטר משוכות וססיל מקמאסטר זכה במדליית ארד בהליכה ל-10 ק"מ. באולימפיאדת אמסטרדם (1928) שיפר אטקינסון את הישגו, וזכה במדליית הזהב בריצת 110 מטר משוכות. רביעיית השליחות במשחה ל-100X4 מטר חופשי השיגו את המדליה הראשונה בענף השחייה, לאחר שזכו במדליית ארד, והיו גם לנשים הדרום אפריקאיות הראשונות שזכו במדליה אולימפית. במדליית ארד נוספת זכה המתאגרף הארי אייזקס
באולימפיאדת לוס אנג'לס (1932) בלטו המתאגרפים הדרום אפריקאים. לורנס סטיבנס ודייוויד קרסטנס זכו במדליות זהב, וארנסט פירס זכה במדליית ארד. מרג'ורי קלארק זכתה במדליית ארד בריצת 80 מטר משוכות, וג'ני מאקל זכתה במדליית ארד במשחה ל-400 מטר חופשי. באולימפיאדת ברלין (1936), היה המתאגרף צ'ארלס קאטרול הדרום אפריקאי היחיד שזכה במדליה, מדליית כסף.
עם חידוש המשחקים לאחר מלחמת העולם השנייה, באולימפיאדת לונדון (1948), שבה דרום אפריקה והשתתפה בהם. כל 4 המדליות שצברה דרום אפריקה במשחקים אלה היו באיגרוף: ג'רלד דרייר וג'ורג' האנטר זכו במדליות זהב, דניס שפרד זכה במדליית כסף וג'ון ארתור זכה במדליית ארד.
באולימפיאדת הלסינקי (1952) שחזרה דרום אפריקה את הישגה מאנטוורפן, וצברה 10 מדליות. בשתי מדליות הזהב זכו לראשונה נשים, הקופצת לגובה אסתר ברנד והשחיינית ג'ואן הריסון (במשחה ל-100 מטר בסגנון גב). אתלטית נוספת, דפני האסניאגר, זכתה במדליית הכסף בריצת 100 מטר. רוכבי האופניים ריימונד רובינסון ותומאס שארדלו זכו במדליית כסף במרוץ אופני טנדם. רובינסון זכה גם במדליית ארד במרוץ נגד השעון ושארדלו זכה במדליית כסף נוספת, עם נבחרת דרום אפריקה במרוץ המרדף. המתאגרף תאוניס ואן סכאלקוויק זכה במדליית כסף, ושלושה מתאגרפים נוספים זכו במדליות ארד: וילי טוויל, לאונרד לייסכינג ואנדריס נימן.
באולימפיאדת מלבורן (1956) פחתו הישגיהם של הספורטאים הדרום אפריקאים, והם הסתפקו ב-4 מדליות ארד: המתאגרפים דניאל בקר והנרי לובסכר, רוכב האופניים אלפרד סוויפט במרוץ נגד השעון, ונבחרת השליחות במשחה ל-100X4 מטר חופשי. בקר שיפר את הישגו באולימפיאדת רומא (1960), בה זכה במדליית כסף. בנוסף אליו, זכו ברומא שני ספורטאים נוספים במדליות ארד, המתאגרף ויליאם מאיירס והאתלט מלקולם ספנס, בריצת 400 מטר.
החרם על דרום אפריקה.
ב-1962 הודיע הוועד האולימפי הבינלאומי לדרום אפריקה כי אם לא תחדל ממדיניות ההפרדה הגזעית בספורט, לא תוכל להשתתף באולימפיאדת טוקיו (1964). לקראת אולימפיאדת מקסיקו סיטי (1968) החלה דרום אפריקה בהכנות להקמת משלחת רב-גזעית, בניגוד למדיניות האפרטהייד במדינה, אך בלחץ של מדינות אפריקה, החליט הוועד האולימפי להותיר את החרם על כנו.
לחרם על דרום אפריקה היו השלכות גם על אולימפיאדת מונטריאול (1976). לאחר שנבחרת הרוגבי של ניו זילנד ביקרה בדרום אפריקה וערכה משחק עם הנבחרת המקומית, דרשה הרפובליקה של קונגו כי גם מדינה זו תושעה מהמשחקים. לאחר שדרישתה לא נענתה, הובילה קונגו חרם על המשחקים, שכלל 26 מדינות אפריקאיות וכן את עיראק וגיאנה.
1992 ואילך: אחרי החרם.
ב-1990 בוטל משטר האפרטהייד בדרום אפריקה, ובעקבותיו היא הורשתה להשתתף באולימפיאדת ברצלונה (1992). 93 ספורטאים דרום אפריקאים השתתפו במשחקים, והם זכו בשתי מדליות כסף. אילנה מאייר זכתה בריצת 10000 מטר והטניסאים ויין פריירה ופיט נורוול בטורניר הזוגות (לאחר שהפסידו במשחק הגמר לגרמנים בוריס בקר ומיכאל שטיך).
באולימפיאדת אטלנטה (1996) צברה דרום אפריקה 5 מדליות, מהן 3 מדליות זהב. ג'וזיה ת'אגוויין, שזכה בריצת המרתון, היה לספורטאי השחור הראשון שזוכה במדליה אולימפית עבור דרום אפריקה. השחיינית פני היינס זכתה בשתי מדליות הזהב הנותרות, במשחים ל-100 ו-200 מטר חזה. באחרון אף קבעה שיא אולימפי חדש (2:25.41 דקות). הזקייל ספנג זכה במדליית כסף בריצת 800 מטר ומריאנה קריל זכתה במדליית ארד במשחה ל-100 מטר גב. במשחקים אלה השתתפה לראשונה גם נבחרת בענף קבוצתי - נבחרת ההוקי שדה. היא סיימה במקום העשירי.
גם באולימפיאדת סידני (2000) זכו הספורטאים הדרום אפריקאים ב-5 מדליות, אם כי הפעם לא היו בהן מדליות זהב. פני היינס הסתפקה במדליית ארד במשחה ל-100 מטר חזה, ובמשחה ל-200 מטר לא עברה אף את שלב המוקדמות. שחיין בולט נוסף, טרנס פרקין, זכה במדליית כסף ב-200 מטר חזה, וכמוהו הקופצת לגובה הסטרי קלואט. גם יתר המדליות הושגו בענף האתלטיקה: לוולין הרברט זכה במדליית ארד בריצת 400 מטר משוכות ופרנץ קרוגר זכה במדליית ארד בזריקת דיסקוס. דרום אפריקה שלחה לראשונה את נבחרות הכדורגל והבייסבול שלה, ואת נבחרת הנשים בהוקי שדה, אך הן לא הגיעו להישגים משמעותיים.
באולימפיאדת אתונה (2004) שיפרה דרום אפריקה את מאזנה, וצברה 6 מדליות. במדליית הזהב היחידה זכו רולנד סקומן, ריק נית'לינג, לינדון פרנס ודריאן טאונסנד, במשחה ל-100X4 מטר חופשי, תוך שהם קובעים שיא עולם חדש (3:13.17 דקות) וגוברים על הרביעיות מהולנד (בה שחה פיטר ואן דן הוחנבאנד), ארצות הברית (בה שחו מייקל פלפס ואיאן קרוקר), רוסיה (בה שחה אלכסנדר פופוב) ואוסטרליה (בה שחו איאן ת'ורפ ואיימון סאליבן). סקומן גם זכה במדליית כסף במשחה ל-100 מטר חופשי ובמדליית ארד במשחה ל-50 מטר חופשי. הסטרי קלואט שחזרה את הישגה מסידני, וזכתה במדליית הכסף בקפיצה לגובה ומבולאני מולאודזי זכה להישג דומה בריצת 800 מטר. דונובן צ'ק ורמון די קלמנטה זכו במדליית ארד בחתירה, הראשונה בענף זה.
אולימפיאדת בייג'ינג (2008) הייתה האולימפיאדה החלשה ביותר מבחינת דרום אפריקה מאז חזרה להשתתף במשחקים. לא פחות מ-136 ספורטאים דרום אפריקאים נטלו בה חלק, אך רק אחד מהם, חוטסו מוקואנה זכה לעמוד על הפודיום, כשזכה במדליית כסף בקפיצה לרוחק. ספורטאית אחרת שבלטה במשחקים אלה היא השחיינית נטלי דו טויט, שזכתה ב-5 מדליות זהב במשחקים הפאראלימפיים באתונה. דו טויט, קטועת רגל, נשאה את הדגל הדרום אפריקאי בטקס הפתיחה, השתתפה במשחה ל-10 ק"מ במים פתוחים, וסיימה במקום ה-16. לאחר מכן השתתפה גם במשחקים הפאראלימפיים בבייג'ינג, וזכתה ב-5 מדליות זהב נוספות.
אולימפיאדת לונדון (2012).
באולימפיאדת לונדון (2012) השתתפו 125 ספורטאים דרום אפריקאים. הישגי המשלחת השתפרו לכדי 6 מדליות, מהן 4 מדליות זהב.
עיקר ההישגים הגיעו מבריכת השחייה. צ'אד לה קלו זכה במדליית זהב במשחה ל-200 מטר פרפר, ומנע ממייקל פלפס זכייה שלישית ברציפות במשחה. כן זכה במדליית כסף במשחה לחצי המרחק וסיים במקום החמישי במשחה ל-400 מטר מעורב אישי. קמרון ואן דר בורג קבע שיא עולם במשחה ל-100 מטר חזה (58.46 שניות). שחיינים נוספים שהעפילו למשחי הגמר כללו את רולנד סקומן שסיים במקום השישי במשחה ל-50 מטר חופשי, נבחרת השליחים ל-200X4 מטר חופשי (בה היה חבר סקומן) שסיימה במקום החמישי, נבחרת השליחים ל-100X4 מטר חופשי (בה היה חבר לה קלו) סיימה במקום השביעי וסוזאן ואן ביליון שסיימה במקום השביעי במשחה ל-200 מטר חזה.
האתלטית קסטר סמניה זכתה במדליית זהב בריצת 800 מטר שהוענקה לה לאחר הרשעתה של מריה סבינובה באימרוץ. אף שהייתה האתלטית המצליחה במשלחת, האתלט שתפס את מרב תשומת הלב במשלחת הדרום אפריקאית היה האצן אוסקר פיסטוריוס. ארבע שנים לאחר שנטלי דו טויט קטועת הרגל ייצגה את דרום אפריקה המשחקים, רשמה דרום אפריקה פריצת דרך נוספת, עם השתתפותו של האצן קטוע הרגליים. פיסטוריוס התחרה בריצת 400 מטר והודח בחצי הגמר, והיה חבר בנבחרת השליחים הדרום אפריקאית ל-400X4 מטרים, שסיימה במקום השמיני. אתלטים נוספים שבלטו בלונדון כללו את סונט ויליואן (מקום רביעי בהטלת כידון), ליהאן פורי (מקום שביעי בריצת 110 משוכות), אנאסו ג'ובודוואנה (מקום שמיני בריצת 200 מטר), חוטסו מוקואנה (מקום שמיני בקפיצה לרוחק) ווילם קוארטסן (מקום תשיעי בקרב עשר).
רביעיית החותרים זכתה במדליית הזהב הראשונה של דרום אפריקה בענף החתירה, וחותרת הקיאק בריג'יט הארטלי הייתה הדרום אפריקאית הראשונה שזוכה במדליה בענף זה, כשזכתה במדליית ארד במקצה ל-500 מטרים. ספורטאים דרום אפריקאים נוספים שרשמו הישגים נוספים בלונדון כללו את רוכב האופניים ברי סטנדר, שסיים במקום החמישי במרוץ אופני הרים ואת החותרות לי-אן פרס וניידין סמית' שסיימו במקום השביעי.
אולימפיאדת ריו דה ז'ניירו (2016).
באולימפיאדת ריו דה ז'ניירו (2016) זכו הספורטאים הדרום אפריקאים ב-10 מדליות, המספר הגבוה ביותר מאז הלסינקי 1952.
במשחקים אלה תפסה האתלטיקה את מקומה של השחייה כענף המצליח ביותר, עם 4 מדליות, בהן שתי מדליות זהב. וייד ואן ניקרק ניצח בריצת 400 מטר, ובריצת הגמר שבר את שיא העולם בן 17 השנים של מייקל ג'ונסון, והעמידו על 43.03 שניות. במדליית הזהב השנייה זכתה קסטר סמניה, ששיפרה את הישגה מלונדון וניצחה בריצת 800 מטר. סונט ויליון זכתה במדליית כסף בהטלת כידון ולובו מניונגה זכה במדליית כסף בקפיצה לרוחק. בנוסף, אקאני סימבינה סיים במקום החמישי בריצת 100 מטר.