Изградња тврђаве је започела у X веку на месту некадашње римске стражарске куле. Према легенди ју је изградила неудата кћерка бугарског цара под именом „Вида“ - отуда име тврђаве, „Баба Вида“ . Тврђава је служила као главна одбрамбена инсталација Видина током средњег века и срушена је за време цара Јована Страцимира (1356–1396). Била је најважније утврђење северозападног Другог бугарског царства. У време Османског царства служила је као складиште оружја и затвор и није коришћена у одбрамбене сврхе од краја XVIII века. У другом балканском рату Видин је био заједно са тврђавом под опсадом српске војске, пад је спречило потписано примирје.