המשחקים נערכו בעת תקופה מתוחה מבחינה מדינית בעולם: המלחמה הקרה הייתה בשיאה והמעצמות ראו בניצחון הספורטאים הוכחה לכך כי צורת השלטון שלהן עדיפה. מרד אנטי קומוניסטי דוכא בהונגריה, ובמחאה על דיכוי המרד החרימו את המשחקים ספרד, הולנד ושווייץ. מלחמת סיני הקטינה משמעותית את נבחרת ישראל ומצרים לא השתתפה כלל. עקב מעורבות בריטניה וצרפת במשבר בחצי האי סיני, גם עיראק ולבנון החרימו את המשחקים. סין (העממית) החרימה את המשחקים בגלל השתתפותה של סין הלאומנית. בגלל משברים ומתיחויות אלו, ירד משמעותית מספר המשתתפים (מ-4,925 בשנת 1952 ל-3,342 בשנת 1956). מנגד, ספורטאים מגרמניה המערבית ומגרמניה המזרחית התחרו לראשונה במשלחת אחת, המשלחת הכלל-גרמנית.