.杨森早年于荃湾的木屋区生活。及后因木屋区大火而获安置到大窝口徙置区居住。他的父母是水果商贩，在众安街摆卖。杨森曾就读增城同乡会小学和荃湾官立工业中学。因参加1966年香港中学会考时考获的成绩不理想而在原校重读中五年级。结果于1967年以优异成绩前往循道中学入读预科。
高等教育界.1974年，杨森毕业于香港大学，曾是该校圣约翰学院足球队队长，并于1972年至1973年间任该学院的宿生会主席。在英国约克大学完成文学硕士学位，杨森返回香港并于香港大学完成博士学位。1979年，杨森加入