Fram til 1775 forteller protokollene også hvor mange samiske familier det var i Kvæfjord. Bakgrunnen for dette var at denne opptellingen ga bakgrunn for å skulle skaffe samisk lærer. En kan derfor være skeptisk til den påståtte fordoblingen av antallet samiske familier, fra 12 i 1759 til 25 i 1767. Registreringen av samiske familier i bispevisitasprotokollene fra Kvæfjord opphørte fra 1775, da språkpolitikken var lagt om og samene skulle få undervisning på norsk. I 1720-årene ble det opprettet fem sameskoler i Sør-Troms, en av disse lå på Kjengsnes i Austerfjorden. Det har vært sjøsamiske gårder i Austerfjorden, indre Gullesfjord, Salen, Ytre Aspenes og i Molvik.