Tuy nhiên, cha ông là Ang Duong trước khi chết đã để xảy ra bạo loạn với người Chăm ở đất Campuchia. Trước đó, năm 1858, một sứ giả của vua Ang Duong là Udkana Yodhasangram (Yuthea Sangkream) được cử đến thương thuyết nhưng bị quân Chăm phản loạn giết chết. Ang Duong mang 10,000 quân đến đánh, giết được nhiều thủ lĩnh Chăm, giải tán Ponhea Lu và tuyên án khổ sai cho hơn 6,000 người khác. Gia đình những người Chăm còn lại bị đày sang các tỉnh Pursat, Lovek, Kompong Tralach, Kompong Luong và khu vực giữa Tonlé Sap và Phnôm Pênh, đạo Hồi bị cấm truyền bá. Một thủ lĩnh Chăm Java dẫn hàng ngàn người Chăm Java chạy sang Châu Đốc tị nạn và giúp nhà Nguyễn tấn công các vị vua Khmer chống người Việt và người Chăm.