Nel luglio 1333 combatté alla Battaglia di Halidon Hill insieme a uno zio paterno che vi trovò la morte e a seguito di questo i suoi possedimenti nell'ovest vennero dati a David III Strathbogie (1309 circa-30 novembre 1335). A quel punto egli si rifugiò a Dumbarton Rock insieme al sovrano che nel maggio seguente si rifugiò in Francia lasciando il paese nelle mani di Roberto e John Randolph, III conte di Moray (1306-17 ottobre 1346). Nello stesso periodo Roberto riuscì a riprendere possesso delle proprie terre, ma nel mese di luglio Randolph venne arrestato e Roberto perse di nuovo le sue proprietà. Questi eventi potrebbero essere stata la causa della sua sottomissione a Edoardo III d'Inghilterra e della sua rimozione dall'incarico di Steward nel mese di settembre.