－2004年），先后有陈伟业退党，然后一众少壮派跟随，这令民主党的势力减弱。2004年，由于选举失利，杨森宣布辞去党主席负责。
反修例运动.2020年2月28日，杨森因参与未经警方批准的「十万基督徒为香港罪人祈祷大游行」被带往西区警署调查。2020年4月18日，杨与多名同属前任及现任立法会议员和多名泛民主派人士，如区诺轩、梁国雄、李卓人、吴霭仪、单仲偕、何俊仁、何秀兰和梁耀忠，商人黎智英、民阵副召集人陈皓桓、社民连的吴文远、黄浩铭和民主党的蔡耀昌共15人，被警方以参加于8月18