I tidligere tider antas det at Skjærsnes ikke var et eget bruk, men sammen med Tufte og Brunstad utgjorde et felles storbruk. Senere har disse blitt delt opp i separate bruk. På 1500-tallet var Skjærsnes eid av Fritsø-familien fra Larvik, og gården ble også bebodd av familien. På slutten av 1800-tallet ble gården overtatt av Hans Edvard Ellefsen som drev hvalfangst i Finnmark og på Island.