Rundt Dørsjø er det tre kjente boplasser, som alle var bebodd fra 1700-tallet og fram til et stykke ut på1900-tallet. Det har også vært fastboende på Pukkverket ved Dørja, få meter fra Dørsjø. Denne plassen har navn etter pukkverket ved Skarragruvene, som lå i dette området.