统府国策顾问、中华全国体育协进会理事长、中国奥林匹克委员会主席。1966年8月15日，杨森登上玉山。1971年重阳节，杨森再度登上玉山。1977年5月15日，杨森在台北病逝。享耆寿94岁（满93岁）。
家庭.杨森兄长是辛亥革命先烈，临终託孤女于杨森。是为杨汉秀。杨森一生有原配妻子1人、续弦妻1人、妾11人，儿子21个，女儿22个。