Et forhold til Isabella, datter av John av Stathbogie, 9. jarl av Atholl, endte i en sønn utenfor ekteskap, Alexander Bruce som senere skulle komme til arve farens jarldømme. Edward sviktet deretter Isabella for å kunne gifte seg med Isabella av Ross. Det var begynnelsen på ondt blod mellom ham og David av Stathbogie, 10. jarl av Atholl, broren av den forlatte Isabella. I 1314, umiddelbart før slaget ved Bannockburn, tok David hevn ved å angrepe det skotske forsyningsdepotet ved Cambuskenneth Abbey.