Nel 1332 Edward vinse alla Battaglia di Dupplin Moor e poi l'anno dopo alla Battaglia di Halidon Hill a cui partecipò anche Roberto. Le proprietà di Roberto vennero prese da Balliol che le donò a uno dei propri seguaci, David III di Strathbogie (1309 circa-30 novembre 1335), Roberto riuscì ad evitare la cattura e si rifugiò insieme al re a Dumbarton Rock. Nei mesi seguenti furono poche le roccaforti ancora in mano ai Bruce, il castello di Kildrummy (di Christina Bruce (1273 circa-1356 o 1357), sorella di Roberto I e moglie di Andrew Murray (1298-1338), il Castello di Loch Leven e il Castello di Urquhart. Nel maggio 1334 Roberto insieme a John Randolph, III conte di Moray (1306-17 ottobre 1346) divenne reggente del regno mentre il sovrano legittimo cercava rifugio in Francia. Roberto si mise subito in moto per riprendere le proprie terre e incontrò l'appoggio di Strathbogie che aveva cambiato partito e si era allineato con i Bruce, al raduno del parlamento del 1335 Roberto ebbe l'appoggio di quest'ultimo cosa che scatenò l'intensa disapprovazione di Randolph..