Borgen tillkom som en följd av Albert av Rigas och Svärdsriddarordens framgångsrika korståg mot Ösel under 1220-talet, då ön kristnades och införlivades i Terra Mariana. Den äldsta borgen uppfördes, möjligen i trä, mellan 1338 och 1380, även om andra källor hävdar att borgen byggdes så tidigt som 1260. Borgen uppfördes som befästning och residens för furstbiskoparna av Ösel-Wiek, vars världsliga furstendöme bland annat omfattade delar av Ösel. Befästningen och orten var då huvudsakligen kända under det tyska namnet Arensburg. När biskopsdömet upplöstes i samband med reformationen och det senare Livländska kriget kom borgen och staden 1559 att komma under den danska kronan. Under den danska epoken moderniserades befästningsverken och en renässansfästning uppfördes omkring kärnborgen.