Il palazzo vescovile viene menzionato per la prima volta nel XIV secolo e da allora ebbe una storia turbolenta. Nel 1462 andò bruciato e successivamente ricostruito. Tra il 1642 e il 1647 venne nuovamente ricostruito con una nuova scala e portali bugnati dal vescovo Piotr Gembicki per poi essere ristrutturato dopo l'invasione svedese nel 1655 e successivamente nel 1817-1820 da Szczepan Humbert.