En 1517 fueron festejadas las bodas entre Bona Sforza y el rey Segismundo I de Polonia y en él se alojó en 1535 el emperador Carlos V, que lo donó Felipe de Lannoy, el cual lo hizo modificar y embellecer.