Bosettingen på Brettesnes og de nærmeste områdene synes å være gammel. Blant annet er det funnet flere gravhauger og steinalderredskaper som stammer fra vikingtiden. Den gode havnen som ender i en stor sandstrand, samt en praktisk beliggenhet for adkomst til fiskefeltene gjør det naturlig å anta at Brettesnes tidlig ble tatt i bruk som boplass. Opprinnelsen til navnet er ikke helt klar, men man antar at det har forbindelse med fjellet Bretten som reiser seg like bak bebyggelsen på Brettesnes. Sikre historiske opplysninger om utviklingen på Brettesnes har man først fra 1800-tallet. Det er imidlertid fastslått at den første jekteskipper var bosatt på Brettesnes rundt 1600-tallet, og at det i 1770 ble drevet gjestgiveri på stedet. Fra midten av 1800-tallet var Brettesnes et stort gårdsbruk. Borkvika, Fremnesvika og Gullvika var husmannsplasser knyttet til dette og hadde arbeidsplikt på gådsbruket. Rundt den sørvendte havna ligger bebyggelsen spredt og omtrent i hesteskoform. Brettesnes har i dag ca. 12-15 fastboende, og tidligere var det blant annet sildoljefabrikk på stedet. Sildoljefabrikken ble lagt ned først på 1990-tallet.