Tettstedet Semsbyen vokste fram etter anlegning av jernbane i 1881, til tida omkring første verdenskrig, da stedet hadde fått telegraf og andre funksjoner som kjennetegner norske stasjonsbyer. Den gamle veitraséen på toppen av Raet var langt inn i nyere tid distriktets hovedåre for ferdsel på land, og den gamle Raveien (senere E18, nå Semsbyveien) utgjør hovedaksen gjennom Semsbyen.