En 1625, el rey Gustavo II Adolfo de Suecia vendió el pueblo de Haapsalu, el castillo y las tierras circundantes al conde Jacob De la Gardie, quien planeó convertir la fortaleza en ruinas en un castillo moderno.