En 1300 pasaron a formar parte del obispado de Åbo (actualmente Turku, Finlandia), y en 1388 se edificó por primera vez el castillo de Kastelholm.