Roku 1700 propuká Severní válka, v níž se Švédsko snaží obhájit svou nadvládu v baltském prostoru proti konkurenčním mocnostem, zejména Rusku. Po bitvě u Poltavy v červenci 1709 padají švédské državy v Estonsku postupně do rukou Rusů, roku 1710 i Vormsi. Na život ostrovanů to zprvu nemá velký vliv. Situace se mění teprve v roce 1748, kdy ostrov kupují baroni ze Stackelbergu. Zatímco dosavadní feudální páni Vormsi ponechávali svým poddaným poměrnou svobodu a dodržovali dříve udělená privilegia, Stackelbergové se projevili jako páni samolibí a krutí. Svědčí o tom řada soudních procesů, které vormští sedláci proti baronům vedli. Teprve v roce 1841 se jim podařilo dosáhnout toho, že vláda estonské gubernie zbavila tehdejšího barona ze Stackelbergu vlády nad Vormsi. Roku 1844 však uspěl baronův syn se žádostí, aby bylo panství vráceno jemu; neoblíbený rod tak vládl ostrovu ještě několik desítek let – roku 1887 smrtí barona Otta vymřeli Stackelbergové po meči, a v roce 1894 pak vdova po baronovi prodala panství státu.