宣布即日起退出公民党，并且暂停参与社区工作。直至同年8月11日早上，才再次在石围角摆街站，复出社区工作，并于9月发表致民主动力公开信指摘公民党，与陈琬琛公开决裂。其后加入民主党，同年12月23日，于石围角举办成为民主党社区主任后第一个活动。2019年香港区议会选举，赖文辉报名参选象石选区，获得2,857票，击败只得2,387票的现任区议员民建联的陈振中，成功当选，为民主党重夺失落八年的象石选区。2020年香港立法会选举，赖文辉曾表示积极考虑参选体演文出功能组别，惟最终并没有参选，与尹兆坚等合组民主党