Eduardo Balliol, filho do rei João Balliol, assistido pelos nobres ingleses e escoceses deserdados por Roberto I, invadiram a Escócia infligindo pesadas derrotas ao grupo de Bruce em 11 de Agosto de 1332, na Batalha de Dupplin Moor e, novamente, na Batalha de Halidon Hill, a 10 de Julho de 1333. Roberto lutou em Halidon, onde o seu tio e antigo guardião, Jaime Stuart, foi morto. Na sequência desta batalha, as terras de Roberto no oeste, foram entregues a David Strathbogie, conde de Atholl, pelo seu apoiante Balliol. Roberto refugiou-se no Castelo de Dumbarton, no estuário do rio Clyde, juntando-se ao seu tio, rei David. Em Maio de 1334, David fugiu para França deixando Roberto e John Randolph, conde de Moray, como Guardiões do reino. Roberto conseguiu reconquistar as suas terras mas, na sequência da captura de Randolph pelos ingleses, em Julho de 1335, as suas propriedades foram, de novo, alvo das forças de Balliol e do rei Eduardo III de Inglaterra. Isto talvez tenha pressionado Robert a submeter-se a Balliol e ao rei inglês, e poderá explicar a sua demissão de Guardião em Setembro de 1335. Este cargo foi transferido para sir Andrew Murray de Bothwell mas, após a sua morte em 1338, Roberto foi novamente nomeado até o rei David regressar de França em Junho de 1341. Roberto esteve junto de David na Batalha de Neville's Cross a 17 de Outubro de 1346, mas ele e Patrício Dunbar, Conde de March escaparam ou fugiram do campo de batalha, e David foi feito prisioneiro. Em Outubro de 1357, o rei foi resgatado por merks a serem pagos ao longo de dez anos.