Slottsborgen ble oppført av Den Liviske Orden i det 14. århundre, for å erstatte det tidligere Pöide, som var blitt ødelagt av øselianerne. Byggingen pågikk til godt inn i det 16. århundre. Initiativtager til det nye støttepunktet var ordensmesteren hvis byggeinnsats senere ble etterfulgt av . I 1518 ble anlegget forsterket med kanontårn og bastioner.