I det som i dag kalles Gamle Nes finnes det bygninger fra en tidligere tid: Gamle Nes er den eldste delen av Nesbyen sentrum. Nesbyen var administrasjonssentrum og bosted for embetsmenn i Hallingdal og her finnes mange bygninger som viser en helt annen kultur og stil enn den som kommer til uttrykk i de mer beskjedne hallingstuene som også finnes i samme område.