Pada abad ke-16, Kastil Semenanjung Trakai digunakan sebagai sebuah penjara. Kastil ini dihancurkan pada masa Perang Rusia-Polandia 1654–1667 dan tidak pernah dipugar kembali. Kawasan kastil kemudian dihadiahkan kepada kelompok biara Dominikan pada tahun 1678 oleh Marcjan Aleksander Ogiński, Voivode Trakai. Baru sekitar setelah 100 tahun kemudian yaitu pada tahun 1770-an, para biarawan mulai membangun biara dan gereja mereka yang kini masuk ke dalam kawasan kastil.