退出民主党后（同期退党的还有黄耀聪、谭惠珍等区议员），以独立民主派身份活动，2003年黎突然宣佈加入自由党，民主派措手不及未有派人出战，只有身兼石俊楼互委会主席的民建联蔡凤生与之对阵，黎以得到三千票大胜，由于新石篱区是民主党主要票仓，也是时任民主党主席李永达的根据地，2004年初为收复失地，便派出人称「华叔契仔」的支联会常委梁国华在区内服务，结果2007年由梁国华胜出。自此一役，黎少棠元气大伤而退居幕后，改派出具有外国学历的自由党青年团主席李梓敬参选。2011年区议会选举，当时估算约18,881人，其中