在其个人Facebook专页宣布正式加入公民党，并且继续在石围角邨负责社区工作。2017年6月8日，赖文辉在其个人Facebook专页宣布即日起退出公民党，并且暂停参与社区工作。直至同年8月11日早上，才再次在石围角摆街站，复出社区工作，并于9月发表致民主动力公开信指摘公民党，与陈琬琛公开决裂。其后加入民主党，同年12月23日，于石围角举办成为民主党社区主任后第一个活动。2019年香港区议会选举，赖文辉报名参选象石选区，获得2,857票，击败只得2,387票的现任区议员民建联的陈振中，成功当选，为民主党