Den svenske språkarven kan fremdeles sees i mange stedsnavn på Vormsi, som Hullo, Sviby, Söderby, Norrby, Diby, Rälby, Borrby, Kärrslätt, Saxby og Förby, som også er offisielle navn på estisk (se svenske stedsnavn i Estland). Øynavnet kommer av det norrøne mannsnavnet Orm. Den estlandssvenske uttalen var . Det estiske navnet er lånt fra det svenske, tilpasset estisk uttale.