起源可能来自生存于10000到3000年前马来半岛的狩猎採集者Hoabinhian人群(和平文化)。约在4000年前，部分Hoabinhian人开始以定耕农业为生，而维持狩猎採集习性的Hoabinhian人便成为塞芒人的祖先。塞芒人与婆罗洲达雅族、苏门答腊巴塔克人有长久的通婚历史。从有关向其他土着民族借取吹箭技术的传说，可得知他们的确有与异民族交流的经验。塞芒人与早期的马来人曾有过融洽的贸易关系。但随着马来人口增多及国家政策的迫害，关系逐渐恶化。19世纪时，塞芒人和其他马来半岛土着被频繁得当作奴隶交