Fagernes var opprinnelig den nordligste delen av gården Vik. Selve Fagerneset er et lite nes ved Sortlandssundet, like sør for Gåsfjorden. Navnet er sannsynligvis laget sist på 1800-tallet. Det er et "rosende" navn, av samme type som Grønland.