父母是水果商贩，在众安街摆卖。杨森曾就读增城同乡会小学和荃湾官立工业中学。因参加1966年香港中学会考时考获的成绩不理想而在原校重读中五年级。结果于1967年以优异成绩前往循道中学入读预科。
高等教育界.1974年，杨森毕业于香港大学，曾是该校圣约翰学院足球队队长，并于1972年至1973年间任该学院的宿生会主席。在英国约克大学完成文学硕士学位，杨森返回香港并于香港大学完成博士学位。1979年，杨森加入香港大学任教学生，并在1985年成为社会工作及社会行政学系讲师，后为助理教授。退