学体育馆办公。但后来印尼阻止中华民国及以色列参加，致未能赴会。之后全国体协会又迁回水源路。后来台北市政府推行防洪计画工程，要建设堤防，全国射击委员会楼房在堤防外，只好拆除。第十八届东京奥运会即将举行，杨森为了寻找固定的办公处所以便利照顾选手，最后台北美国学校将旧校舍借给使用，全国体协会于1964年8月16日迁入，至此终于有固定会址。杨森整顿会所后将没有会所的运动委员会迁入。由于原址土地属于国有财产局，同年租约到期后变成了违章建筑，至此面临搬迁问题。杨森希望能有适合场地搬迁，或是直接将该地买下，但皆未果。