Nel 1513 Giacomo ci riprovò di nuovo, invase l'Inghilterra e puntò dritto al castello, ancora una volta usò dell'artiglieria per diversi giorni di seguito finché la sua parte più esterna venne presa dagli scozzesi. Poco dopo l'intera guarnigione inglese si arrese e i sistemi difensivi vennero distrutti. Giacomo da lì si mosse verso sud, incontrò gli inglesi alla Battaglia di Flodden Field, lui fu ucciso e il castello tornò in mano agli uomini di Enrico VIII d'Inghilterra.