Después de que el Gran Ducado de Lituania se uniera al Reino de Polonia en 1569, creándose la República de las Dos Naciones, el castillo continuó siendo una propiedad real, pero la importancia de la ciudad disminuyó gradualmente, especialmente por la cercanía de Vilna y la sede del centro político de toda la Comunidad en Cracovia, siendo éste mucho más importante.