政策的迫害，关系逐渐恶化。19世纪时，塞芒人和其他马来半岛土着被频繁得当作奴隶交易，直到英国殖民政府于19世纪末期禁止奴隶制，并立法保护原住民后，处境才略显好转。1954年，成立，提供马来半岛土着教育、医疗服务，及协助发展经济。1970年代，马来亚共产党叛军在马来半岛与泰国、马来西亚政府展开游击战。塞芒人游群由于生活于丛林中，常被政府军误认为是叛军营地而受到战火波及。如今，因为马来政府强迫马来半岛土着信仰伊斯兰教，使塞芒人和马来人之间的民族关系仍显紧张。和华侨、印度裔移民、其他土着的关系则相对和