Město se dostalo pod tureckou nadvládu postupně v období od let 1459 až 1463. Součástí Osmanské říše bylo až do roku 1912, kdy připadlo spolu s regionem Sandžak Srbsku. Během období turecké nadvlády byl Priboj administrativně součástí několika okolních administrativních jednotek (spadal pod Višegrad, Čajniče, Novu Varoš, Prijepolje a Pljevlju). Po Berlínském kongresu v roce 1878 byla v Priboji umístěna rakousko-uherská vojenská posádka, která zde zůstala až do roku 1909. Rakousko-uherské vojsko přineslo do města vymoženosti moderní civilizace. Přestože Priboj zůstával i nadále součástí Osmanské říše, přicházely sem evropské zvyky, zboží a byl tu vybudován také i první hotel evropského typu. Roku 1865 byla do Priboje zavedena elektřina. V roce 1888 byla vybudována dodnes dochovaná mešita.