Zamek został zbudowany pod koniec XVI wieku przez wojewodę bracławskiego Janusza Zbaraskiego. W tym czasie na wschodnim brzegu Zbrucza rozwijało się miasteczko Ożohowce (ukr. Ожигівці), a Toki i zamek Zbaraskich stanowiły jego zachodnią część. Miejsce to znajdowało się na rozdrożu ważnych szlaków: czarnego i kuczmańskiego. Po Zbaraskich, w 1631 warownię w Tokach przejęli we władanie Wiśniowieccy. W 1648 podczas powstania Chmielnickiego zamek został zdobyty, splądrowany i zniszczony przez Kozaków. To samo spotkało Toki w 1675 podczas najazdu armii tureckiej pod wodzą Ibrahima Szyszmana.