Po wojnach XVII wieku zamek nie został już w całości odbudowany. Po Wiśniowieckich, od 1744 jego właścicielami byli Wielhorscy, Czarneccy, Matkowscy, Małyńscy i Dzieduszyccy. Od pierwszego rozbioru Polski w 1772 do odzyskania przez Polskę niepodległości (z wyłączeniem lat 1809-1815) Zbrucz stanowił granicę austriacko-rosyjską. Zamek w Tokach znalazł się w Galicji, natomiast część dawnych Ożohowców po stronie rosyjskiej. Od podpisania traktatu ryskiego w 1921 do agresji sowieckiej na Polskę 17 września 1939 była to granica polsko-sowiecka. Zamek i wioska Toki pozostawały po stronie polskiej, zaś pola uprawne i Ożohowce po sowieckiej. Granica była zamknięta i miejscowa ludność nie miała prawa przekraczać rzeki.