罩在英格兰王国的阴影下，不到4年，约翰·巴里奥在英格兰入侵军队的压力下被迫退位。爱德华·巴里奥随父亲一起被送往英格兰，受到监押。1299年，约翰·巴里奥被英格兰国王爱德华一世批准前往法国巴里奥家族的封地。不过年青的爱德华被命令留在英格兰，作为约束约翰·巴里奥行为的人质。
夺权计划.1314年，约翰·巴里奥去世，人质失去了必要性，于是爱德华·巴里奥也被允许前往法国。此时苏格兰已经有了新国王罗伯特·布鲁斯，而且在他的领导下在与英格兰的战争中逐渐开始占上风。英格兰全面征服苏格兰的可能