Durante a Guerra da Livônia, a Estônia tornou-se parte do reino luterano da Suécia e o estado do Bispado de Ösel-Wiek desapareceu. A catedral católica foi transformada em uma igreja luterana e passou a ser conhecida como a Igreja do Castelo. Em 1625, o rei Gustavo II Adolfo da Suécia vendeu a cidade de Haapsalu, o castelo e as terras circundantes ao conde Jacob De la Gardie, que planejava transformar as ruínas da fortaleza em um castelo moderno. Arent Passer, um conhecido escultor e mestre-de-obras, foi convidado para consultor.