1953年当時、フランスのインドシナ支配に対して共産主義者主導の反仏活動が起こっており、この活動は中心であるベトナムからカンボジアとラオスに波及した。1954年にはフランスが仏領インドシナを去り、ベトミンはジュネーヴ協定に従ってカンボジア国内から撤退し、北緯17度線以北の北ベトナムへ集結した。このため、カンボジア国内のベトナム人左翼活動家の引き上げが始まった。カンボジア人左翼活動家の中で、フランスで教育を受けた者の一部はヴェトナムの撤退に合わせてハノイへ逃れたが、ポル・ポトは身分を偽って密かにプノンペンへ戻った。戻った理由は、ベトナムへ戻るクメール人民革命党の幹部と交代するためであった。こうして、この頃からポル・ポトとそのグループは、クメール人民革命党のプノンペン支部と関係を深めるようになった。革命運動の実績がないことを考えると、与えられたポル・ポトの地位は高かったが、これは状況の変化によってクメール人民革命党幹部が手探り状態であったためである。当時のポル・ポトの仕事は1955年に予定された独立後初の選挙対策で、クロム・プラチェアチョン(Krom Pracheachon、クメール語で「市民グループ」の意)と民主党との調整役であった。また、プラチェアチョラーナ(Pracheachollana、クメール語で「人民運動」の意。右派のソン・ゴク・タンのグループのこと)の影響を小さくするために、プノンペン市内の活動グループを人民党に集め、また、人民党内部からソン・ゴク・タンのシンパを排除していった。プノンペン支部党委員会の学生運動担当委員になったと書く文献もある。またポル・ポトはこの時期に、共産党員の獲得も行っていた。1954年12月に、ポル・ポトはピン・トゥオク（Ping Thuok、後にソク・トゥオクSok Thuokまたはヴォン・ヴェトVorn Vetとして知られるようになる）を共産党プノンペン委員会に紹介している。1955年3月3日、国王ノロドム・シハヌークは退位し、後にサンクム（人民社会主義共同体）という政党を組織した。シハヌークはその威光で共産主義などの反対勢力を一掃し、1955年9月11日の翼賛選挙で議席をすべて獲得した。しかし政界では左右両派の対立が続き、シハヌークは必要に応じて左派への歩み寄りと弾圧を繰り返した。1973年にカンボジア共産党が配布した党の歴史に関する文書では、1959年終わり頃から政府は農村部での革命運動に弾圧を加え始めたとしている。1960年、ポル・ポトはカンボジア労働者党中央常任委員に就任した。ただし、ポル・ポト自身は、1961年にヌオン・チアに代わり副書記長に選出されたと主張している。1962年、シハヌークはプラチアチョンのスポークスマンをはじめ15人の活動家を罪名無く逮捕拘留する。プラチアチョンの機関紙編集長も逮捕され、これらの活動家達16人は死刑を宣告された。後に彼らへの死刑は長期刑に減刑されるが機関紙は廃刊となり、表立って活動していたプラチアチョングループは消滅する。これ以後、都市部の急進的左翼は地下に潜行して秘密活動に傾斜していくようになる。しかし1966年頃までは、後に重要な役割を示す左翼運動家の多くは、教師として左傾化した学生を生み出したり、またそれが急進的なものでないかぎりは比較的自由に政治活動をおこなっていた。1960年代半ばに入ると、ベトナム戦争へのアメリカの関与が本格化したことで右派の影響力が強まり、シハヌークの使える政治的裁量の範囲は次第に狭まっていった。1963年2月、シハヌークの外遊中にシェムリアップ市で暴動が発生した。警官により学生が1人殺害されたことから学生の抗議デモが始まり、地方政府が警官をかばうと、最終的に地方警察本部に対する大規模な暴動へと発展した。シハヌークはこの暴動を左翼による扇動と考え、帰国後ケン・ヴァンサクとソン・センを非難した。さらに3月8日には、主要な破壊活動家左翼として34人の名前を公表した。このリストには、都市部の左派知識人のほとんど全てが載っていた。キュー・サムファンらは国民議会の非難を受け、ロン・ノルは左派の一掃をシハヌークに求め、1955年以来最大の政治危機となり、左翼にとっては最大の弾圧の危機に見舞われた。しかし、シハヌークはロン・ノルの提案を拒否し、キュー・サムファンらの辞任も撤回され、リストに挙げられた34人もシエン・アンを除いて特に処罰されることなく終わり、結局は、都市部左翼の状況に関しては元の状態に戻っていった。また、この暴動事件の最中の2月20日、21日にプノンペンで第3回党大会が開かれ、ポル・ポトが書記長に就任した。一方、農村部では弾圧が強化され、左翼活動家の殺害や投獄が行われた。こうした状況のなか1963年5月ポル・ポトとイエン・サリはプノンペンから消え、コンポンチャム州の国境周辺へ移動した。ジャングルでの地下活動に入ってからサロット・サルは「ポル」というコードネームを用いるようになった。（「ポル・ポト」という名が使われるようになったのは、1976年4月14日に民主カンプチアの新首相として公式に発表されて以降のことである。それ以前は「ポル」、「同志書記長」、「オンカー」として知られていた。）ポル・ポトは以後12年を地下活動で費やした。1964年末、ポル・ポトはケオ・メアに伴われてラオス国境を越え、ホーチミン・ルートでハノイに入った。ハノイに数ヶ月滞在した後、ポル・ポトは中国と北朝鮮を訪れた。シハヌークが北京に滞在しているのと同じ時期に、ポル・ポトも北京に4ヶ月以上滞在し、鄧小平や劉少奇らと仕事をしたが詳細はわかっていない。その後、平壌へ行ったあと再び北京に戻り、1966年始めにカンボジアへ帰った。ヴォン・ヴェトによれば、ポル・ポトが中華人民共和国から帰国した後の1966年初め、カンボジア労働者党は、都市部の勢力に対する闘争と農村部で武装闘争の準備の方針を打ち出した。文献によれば、1965年からカンボジア労働者党は中国共産党の影響下に入ったのち、1966年からは文革派の康生の影響下に入っている。また同年9月には、党名をカンボジア共産党に改名している。カンボジア共産党は後にクメール・ルージュとして知られるようになり、同党の武装組織はポル・ポト派と呼称された。ただし、ポル・ポトが帰国した時期は中国で文化大革命が本格化する直前のことである。大躍進時代の毛沢東思想は別として、ポル・ポトが文化大革命から思想的な影響を受けたのかどうかははっきりとしない。ポル・ポト、イエン・サリ、ソン・セン、キュー・サムファン、その他のクメール・ルージュ幹部が文化大革命に対する共感を示す発言をしたことはない。また、ジャングル入りした学生の証言によれば、文化大革命前の毛沢東主義のスローガンは好まれていたが、文化大革命は事実上無視されていた。「ジャングルの中では、北京放送を聞いて流れてくるスローガン（「張子の虎」、「農村から都市を包囲する」、「小から大へ」など）を取り上げてはいたが、文化大革命に関する会話も教育も、毛沢東思想に関する勉強も行われていなかった。党の方針は、困難で長引くが最終的には確実に勝利するはずだという闘争のことばかりだった。都市部には毛沢東の翻訳本はあふれていたが、農村部にはなかった」という。文献では、ポル・ポトやイエン・サリは、オポチュニストとして、文化大革命の思想とは関係なくむしろ利用されつつ中国を利用したという見方が示されている。この見方は、他の文献にも見られる。1967年、ポル・ポトはカンボジア東北地方のジャングル内にカンボジア共産党の訓練学校を作り9日間の政治レクチャーを行ったが、その間中国についてほとんど言及せず、文化大革命についてはまったく述べなかったという。この時期、クメール・ルージュの都市部の拠点は壊滅しており、辺境部のジャングルに点々と小さな左翼集団があるだけで、左翼集団間の連絡も容易ではなかった。ポル・ポトの1977年の発言によれば「連絡のためには徒歩で行ったり、象の背中に乗って行かねばならず、また、連絡用ルートを遮断した敵を避け続けねばならなかったので、1ヶ月が必要だった」という。1967年4月、バタンバン州のサムロートで、政府による強制的な余剰米の安値買い付けに反対する農民と地元政府の間で衝突が起こる。1965年頃からカンボジアの余剰米の少なくとも4分の1あまりが北ベトナム政府と南ベトナム解放民族戦線（ベトコン）に買い上げられており、シハヌークの外遊中、ロン・ノルにより南ベトナム解放民族戦線への米の供給を止めるために、強制的に余剰米を買い上げする方針が打ち出された。しかし、政府の買い付け値はベトナム人による買い付け値よりも低く、地元の共産主義勢力は反米反政府のビラを巻き暴動を煽動した。サムロート周辺の暴動鎮圧作戦は数ヶ月間続き、この後、シハヌークはプノンペンの共産主義者達への弾圧を一層強化した。同じ頃より、ポル・ポトは中国に支援されてカンボジア政府に対する武装蜂起を始めた。