Osídlení Kõrgessaare je v listinách poprvé zmiňováno roku 1532. Již roku 1552 se zde nacházel panský statek "Hohenholm", 1586 je jako vlastník zmiňován ruský bojar "Perwoy Putilov", který za Livonské války přešel na švédskou stranu a byl odměněn polnostmi. Roku 1624 získala statek hraběcí rodina "de la Gardie". Již během prvních let svého panství zlikvidovali Gardiové původní estonskou vesnici a její půdu přičlenili ke statku; vybudovali však také kõrgessaarský přístav, z něhož během 17. století jezdila první estonská pravidelná lodní linka do Stockholmu. 1691 byl statek vyvlastněn švédskou korunou, roku 1755 se vrátil do rukou hraběnky "von Stenbock", dědičky rodu "de la Gardie", a roku 1781 jej zakoupil baron "von Ungern-Sternberg".