À l'automne 1960, à l'olympiade de Leipzig, Fischer remporta la médaille de bronze individuelle au premier échiquier de l'équipe des États-Unis et la médaille d'argent par équipes. En janvier 1961, il gagna son quatrième titre de champion des États-Unis, toujours sans perdre de partie et avec deux points d'avance sur Lombardy et trois points d'avance sur Reshevsky. Pendant l'été (en juillet-août), il disputa un match contre l'ancien prodige américain Samuel Reshevsky. Initialement prévu en seize parties, le match fut interrompu sur un score d'égalité (+2 –2 =7) à la suite d'un désaccord : la douzième partie avait été avancée à onze heures le dimanche matin par la mécène et organisatrice du match, Jacqueline Piatigorsky. Opposé à cet aménagement, Fischer ne se présenta pas à la rencontre et fut déclaré perdant par forfait. Il refusa de disputer une treizième partie si la douzième n'était pas rejouée. Reshevsky fut déclaré vainqueur du match et Fischer poursuivit la fédération américaine devant le tribunal. L'affaire se termina par un non-lieu mais le scandale fut relayé dans les médias (presse, radio et télévision) et ternit l'image de Fischer.