Åsen er oppkalt etter gården Sem, som ligger rett nord. Langs den nordøstlige kanten av åsen går Semsveien, mens Nattvallveien går langs den østlige og den sørlige sida. Ved foten av åsen i sørvest ligger Føykås.