Denne Robert Bruce var den eldste sønnen til den fjerde lord av Annandale (alle eldste sønner fikk navnet Robert). Hans avstamning var viktig ved at hans mor, Isabella av Huntingdon, var andre datter av kong David av Skottland, jarl av Huntingdon. Han var på sin side sønn av prins Henrik, 3. jarl av Huntingdon, som igjen var sønn av kong David I av Skottland.