Sværholt vært et viktig handelssted på Finnmarkskysten siden slutten av 1700-tallet. Ifølge folketellingen av 1801 bodde det da 21 mennesker på Sværholt fordelt på fire husstander.