Robert hadde samme navn som både onkelen og bestefaren. Onkelen hans døde før han ble lord av Annandale, og derfor arvet hans far, William, tittelen, og ble 3. lord av Annandale. Robert giftet seg ca. 1219 med Isobel av Huntingdon, den andre datteren til David av Skottland, 8. jarl av Huntingdon, sønnesønn av kong David I av Skottland. Dette ekteskapet var av strategisk viktig betydning ettersom det ga Bruce-familien en direkte kobling til det skotske kongehuset og et framtidig krav på den skotske tronen. Isobel hadde i egen rett store eiendommer i både Skottland og England, inkludert herregårdene Writtle og Hatfield Broadoak, Essex i England.