Semangit polveutuvat todennäköisesti metsästäjä-keräilijöistä, jotka saapuivat Malakan niemimaalle 10 000–3 000 vuotta sitten. Maanviljelyksen saavuttua alueelle noin 4 000 vuotta sitten osa näistä varhaisista asukkaista siirtyi maanviljelykseen ja osa jatkoi perinteistä elintapaa. Jälkimmäiset ovat semangien esi-isiä. Semangien ja heidän jälkeen Malesian alueelle saapuneiden malaijien välit lienevät olleen alun perin hyvät osapuolten käydessä kauppaa keskenään. 1800-luvulla malaijit alkoivat kuitenkin orjuuttaa semangeja ja muita alueen alkuperäiskansoja. Orjuuden kielsi vasta vuosisadan lopulla brittiläinen siirtomaahallinto. Malaijan kriisin myötä vuonna 1954 perustettiin alkuperäiskansojen virasto, jonka tarkoituksena oli alun alkaen pitää alkuperäiskansat poissa kommunistien vaikutusvallasta. Sittemmin se on keskittynyt tarjoamaan alkuperäiskansoille esimerkiksi koulutusta ja terveydenhuoltoa. Semangien ja malaijien välit ylipäätänsä eivät ole kovin hyvät, sillä semangit kokevat valtion painostavan heitä kääntymään islamiin. Sen sijaan välit Malesian muihin vähemmistöihin ovat paremmat.