I juni 1306 ble Robert Bruce hær beseiret ved slaget ved Methven vest for Perth og ble igjen beseiret i slaget ved Dalry syd for Tyndrum, sørvest for Glasgow. I august ble han overrasket i Strathfillan hvor han hadde søkt tilflukt. Kvinnene i familien, Isabel og hans søster Mary ble satt i fengsel, og Elizabeth og datteren Marjorie ble sendt til Kildrummy Castle i januar 1307. Robert Bruce lot seg forsvinne i flere måneder. Nesten uten en eneste tilhenger måtte han flykte til de isolerte og forblåste øyene på vestkysten av Skottland.