Ersfjordgården er en forkortelse av Eriksfjord, som gården het i 1614. Det finnes også de som har en annen forklaring av navnet. I gamle dager ble navnet skrevet Ertzfjorden. Navnet ertz kommer av haverten som var en selart som kom inn til kysten. Ersfjorden = Selfjorden. Gården som lå inne i botnen, har navn etter fjorden.