All'inizio del XVI secolo, durante la seconda guerra italiana che vide coinvolte Francia e Spagna, la città fu teatro della celebre Disfida di Barletta. Lo scontro tra cavalieri italiani e francesi, avvenuto a seguito di provocazioni di parte francese, si tenne il 13 febbraio 1503 nell'agro tra Andria e Corato, nel territorio della città di Trani e si concluse con la vittoria della compagine italiana, guidata dal capitano Ettore Fieramosca. La città divenne roccaforte degli spagnoli, che ne ampliarono le mura ed il castello. Nel 1528, già lacerata da divisioni interne, fu devastata dai francesi, che perpetrarono saccheggi e incendi tali da portare alla distruzione chiese ed edifici conventuali. Da quel momento cominciò il declino di Barletta, favorito dal malgoverno spagnolo e dalle calamità naturali susseguitesi per tutto il XVII secolo: nel 1627 e nel 1629 due sismi danneggiarono numerosi edifici barlettani, senza intaccare il castello cittadino; la peste del 1656 colpì la città e il numero dei suoi abitanti passò così dai ventimila di quell'anno agli ottomila del marzo 1657; nel 1689, 1731, 1743 ulteriori terremoti ridussero in ginocchio la popolazione.