Det førte til Robert atter ble valgt til Vokter av Skottland, men etterhvert begynte politiske friksjoner å gnage mellom Robert og hans kongelige onkel. Robert ble anklaget, sannsynligvis uten grunn, for å ha desertert ved Neville’s Cross. Og selv å være en legal arving til den skotske tronen ble han mektig provosert av at David II som belønningen for sin løslatelse tilbød å overlate den skotske kronen til kong Edvard III av England eller en av hans sønner.