På sørsiden av vannet ligger Sem hovedgård og Berg gård, mens gården Tveiter og husmannsplassen Hajem ligger på nordsiden av vannet. Mot sørøst ligger Skaugum gård. Disse gårdene er alle etter alt å dømme blant de eldste i Asker, med røtter tilbake i hvert fall til eldre jernalder. Kulturlandskapet rundt vannet er godt bevart, og ble vernet som Semsvannet landskapsvernområde 2. oktober 1992.