К концу XVI века Троки постепенно отступают на задний план в политической жизни страны. Удалённость от главных торговых путей привела город к экономическому упадку. Вскоре Троки становятся местом ссылки неугодной знати; замок используется как тюрьма. Во время вторжения русской армий в 1655 году замок превратился в развалины.