Se desconoce la fecha en que comenzó a construirse el castillo, aunque puede haber sido en la década de 1290, durante el reinado de Haakon V de Noruega (quien también habría mandado construir las fortalezas de Bohus y Vardøhus).