Строительство дворца началось в конце XVI века для епископа Плоцка Войцеха Барановского. Когда он стал архиепископом Гнезно, то перенёс резиденцию архиепископа Гнезно в свой дворец в 1612 году. Во время Шведского потопа 1655—1660 годов дворец был разрушен. Позже его восстанавливал польский архитектор Йозеф Фонтана. Ещё раз дворец был разорён саксонцами, итальянцами и казаками в 1704 году. Из руин его на этот раз восстанавливал примас Польши Станислав Шембек.