Navnet kommer trolig av «el» i betydning kald byge eller vind (terrengformasjonen leder kald trekk fra nord), og våg i betydningen vik. «Elivågar» i Edda antas å være Elvåga og var ifølge Hymeskvadet og Vaftrudnismål to kalde innsjøer på grensen mellom jotnenes og menneskenes land.