Навіть після того, як ФІДЕ змінила формат турніру претендентів з кругової системи на олімпійську, де виключається можливість змови, Фішер вирішив не брати участі в Міжзональному турнірі 1964 в Амстердамі. Так він позбавив себе можливості боротись за участь у Матчі за звання чемпіона світу 1966. Замість цього шахіст вирушив на гастролі по США і Канаді, які тривали з лютого по травень, проводячи сеанси одночасної гри і лекції в понад сорока містах. 94 % його перемог у понад 2000 зіграних партій є одним з найкращих показників в історії. Фішер відхилив запрошення захищати кольори збірної США на шаховій Олімпіаді 1964 в Тель-Авіві.