育有两个女儿、七个儿子，这些子女中有三名早夭。波尔布特在兄弟姐妹中排行第八。当时柬埔寨是个君主制国家，但在法国殖民统治之下，国王几乎没有任何政治权力。波尔布特的堂姐Meak是西索瓦·莫尼旺国王的一个妃子，后来成为芭蕾舞教师。在六岁时，沙洛特绍与哥哥沙洛特蔡一起，被父母送往金边，由堂姐Meak抚养。年幼的他被送入Vat Botum Vaddei当了18个月的僧人，在寺院里学习佛教教义和高棉文的阅读写作。1935年夏天，沙洛特绍搬到哥哥Saloth Suong家中，与兄嫂、侄辈一起居住。他被送进罗马天主