求下撤退至越南民主共和国，绍兴和杜斯木等则没有听从越南的指令，留下来转入地下领导国内的党组织，期间曾成立合法政党人民派作为掩护机构，以人民派的名义于1955年、1958年先后两次参加大选，都落败。1960年9月30日至10月2日，柬埔寨国内的党组织在金边火车站一名工人家中秘密召开高棉劳动党第一次全国代表大会。会议背景是在西哈努克的压力打击下，负责农村工作的中央书记绍兴1958年叛变投靠了朗诺，全国党组织遭到大破坏，党的中央领导只剩下杜斯木一人。会议决定党改名为高棉劳动党；金边党委领导人农谢、波尔布特、英