Seusai Perang Livonia dan pembubaran Ordo Teutonik, wilayah Estonia diperebutkan oleh Swedia, Polandia dan Rusia. Pada tahun 1561, Estonia utara telah menjadi wilayah Swedia. Swedia mengubah kastil ini dari benteng tentara salib menjadi pusat pemerintahan dan kekuatan politik di Estonia. Pada tahun 1710, Estonia jatuh ke tangan Kekaisaran Rusia dan kastil ini dikuasai oleh mereka hingga Deklarasi Kemerdekaan Estonia pada tahun 1918. Namun, kemerdekaan Estonia pada saat itu hanya seumur jagung dan Estonia menjadi wilayah Uni Soviet hingga perpecahan Uni Soviet.