I høymiddelalderen ble Hvaler, sammen med Borge og Torsnes omtalt som , og utgjorde i Borgarsysla. Kirken er omtalt i Biskop Eysteins jordebok fra 1397 som .