ただ、この日本の一連の行動にはフィリピンや当の満州でさえ引いてしまう。満州については日本側の関係改善に向けた動きと大満州国体育連盟への組織改編により正式に東洋協会に加盟する。当時アメリカの植民地だったフィリピンは「東洋の平和」を目指して東洋協会を作ったことから憤りを感じ、また1944年アメリカからの完全独立が確約されていたところへその時期が更に早まるようアメリカ政府と交渉の最中、国際的観点から見て問題のある東洋大会に絡むことは今後の交渉で不利になると考えた。一方で日本は、1940年東京五輪招致を目指しており、東洋協会の存在は五輪招致に不利に働くとして協会設立当初は積極的な活動後押しを行えなかった。なお中国には協会参加勧誘の動きはあったものの具体的にオファーは出していなかった。