L'arrivo di Filippo d'Angiò causò lo scoppio di una guerra di successione tra Francia e Austria. Gli Asburgo, impossessandosi prima della Lombardia e poi del Regno di Napoli, riuscirono a detenere il potere dal 1707 al 1734 con la guida di Carlo VI d'Austria. Durante questi ventisette anni il castello di Barletta fu lasciato cadere in uno stato di abbandono e di grave degrado, testimoniato da un "inventario delle munizioni da vitto e da guerra del Regio Castello di Barletta", risalente al 1722, grazie al quale si è venuti a conoscenza della completa mancanza di manutenzione o restauro da parte del governo austriaco. Lo stato dell'opera si rese poi palese nel 1734, quando Giulio Borromeo Visconti, viceré austriaco, alla vigilia della battaglia di Bitonto si rifugiò nel castello barlettano, trovandolo inagibile.