Construcția podului începe în 1566 și este încheiată cinci ani, împreună cu un "caravanserai" (sau "han"). Podul este construit de țăranii șerbi, care se răzvrătesc adesea și sabotează lucrările de construcție pentru a protesta împotriva condițiilor grele de muncă. Represaliile otomanilor sunt aspre: răzvrătitul sârb prins ca sabotor este tras în țeapă. Noul pod înlocuiește vechiul bac care a fost odată singurul mijloc de traversare a râului și ajunge să reprezinte o legătură importantă între Eyaletul Bosnia și restul Imperiului Otoman. El este mai lat în porțiunea de mijloc, cunoscută sub numele de poartă (sau "kapija"), iar această secțiune a podului devine un loc popular de întâlnire. Fiecare moment important din viața locuitorilor din zonă se desfășoară în jurul podului, iar copiii de toate religiile îl folosesc ca loc de joacă, traversându-l în lung și în lat. Pe măsură ce timpul trece sunt scornite o serie de legende cu privire la istoria podului. Localnicii povestesc că doi prunci creștini (Stoia și Ostoia) au fost îngropați de vii în zidăria podului pentru a le îmblânzi pe zânele ("vile") care împiedicau construcția sa, provocând tot felul de accidente și dezastre naturale. Generațiile următoare de localnici ajung să creadă că cele două deschizături din pilonii podului sunt locurile pe unde nefericita mamă îi alăpta pe cei doi micuți. Aproximativ un secol mai târziu, Monarhia Habsburgică recuperează o mare parte a Europei Centrale și a nordului Balcanilor de la otomani, declanșând o criză în cadrul imperiului. Din cauza lipsei fondurilor, caravanseraiul este abandonat și începe să se ruineze. Podul, pe de altă parte, rezistă timp de câteva secole fără a fi întreținut datorită faptului că a fost construit durabil. Locuitorii din Višegrad - turci, sârbi, evrei sefarzi și romi - cooperează solidari unii cu alții în timpul inundațiilor periodice ale Drinei.