Edvard I av England reiste to ganger til Elgin. Under sitt første besøk i 1296 ble han imponert over det han så. Bevart i Cotton-biblioteket som nå holdes i British Library, er dagboken for oppholdet hans, som beskriver festningen og byen Elgin som «bon chastell et bonne ville» — «bra borg og god by». Ved hans andre besøk i september 1303 hadde festningens treinteriør blitt brent mens den ble holdt av den engelske guvernøren, Henry de Rye. Som et resultat ble han bare i Elgin i to dager og slo leir ved Kinloss Abbey fra 13. september til 4. oktober. Kong Edvard ble rasende da David de Moravia, biskop av Moray, sluttet seg til Skottlands sak med Bruce, og Edvard appellerte til paven som ekskommuniserte biskopen, og dermed fjernet pavelig beskyttelse, noe som førte til at han flyktet til Orknøyene, deretter til Norge. Edvard I klagde til kong Håkon V Magnusson og krevde biskopen arrestert, men han flyktet igjen før det ble aktuelt. Han var tilbake i Skottland etter Robert Bruces seire mot engelskmennene. Etter Edvards død i juli 1307 tok Robert Bruce Skottland tilbake i 1308, og ødela skotske festninger for å hindre engelskmennene kunne holde dem. David de Moravia var sammen med Robert Bruce da de ødela festningene i Inverness, Nairn og Forres. Også festningen i Elgin ble angrepet, hele to ganger, men til slutt ble den erobret. Biskopen deltok i den skotske parlamentet i mars 1309 som bekreftet Robert Bruces rett til den skotske tronen.