Robert V var kjent som Robert «den edle», og var oldebarn av kong David I av Skottland og Maud, grevinne av Huntingdon. Robert tilhørte den fremste adelen i Skottland, men hadde også store eiendommer i England. I tillegg til Annandale i sørlige Skottland var han lord av Hartlepool (ellers kjent som Hartness) i grevskapet Durham, og Writtle og Hatfield Broadoak i Essex, England. Hans første kone brakte til ham landsbyen Ripe i Sussex, og hans andre kone, herredømmet Ireby i Cumberland.