Det er flere meninger om hva navnet Skjærvika kommer av, spesielt da den lille fjorden/pollen Hunnebonn som Skjærvika ligger ved er fullstendig fri for skjær. I begynnelsen av 1900 ble benyttet som navn, men det er funnet skriv som viser at Skjærvika er brukt som navn så tidlig som i 1912. På militære kartverk fra 1700-tallet er navnet brukt.