Giacomo IV morì alla Battaglia di Flodden Field prima di poter vedere ultimati i lavori, il suo successore Giacomo V di appena un anno venne incoronato nella cappella reale e crebbe al castello sotto la tutela di John Erskine, V Signore di Erskine (morto 1552).