Stesnavnet Scarba er avledet fra norrønt, men betydningen adskiller blant forskerne: det kan enten bety «skarpt, steinete, kupert terreng» eller «Skarvøy».