Середньовічна святиня була зруйнована під час протестантської Реформації приблизно в 1524 році, і там же розмістили шибеницю, щоб відлякати католиків. Майже через століття його відбудував особистий секретар короля Сигізмунда III, який придбав землю, де колись стояла зникла статуетка. Картина Марії з Немовлям Ісусом, виконана бельгійським майстром-художником Варфоломієм Ручками з Ельбінга, замінила загублену реліквію. Під час Шведського потопу багато безцінних речей із скарбниці каплиці були заховані в Гданську.