Bebyggelsen på Nes blir ikke nevnt i middelalderske kilder, ei heller ved navn i jordebøkene før 1705. I jordeboken fra 1584 blir tre husstander på Nes nevnt. Tradisjonen sier at en grensetvist i bygden på 1400-tallet ble avgjort ved brytekamp. På 1700-tallet var bygden bebodd av leilendinger og husmenn.