Роберт происходил из шотландского рода Брюсов, имевшего нормандские корни, один из представителей которого, Роберт I Брюс, получил во владение Аннандейл. Один из потомков Роберта I, Роберт (VII) Брюс, во время Первой войны за независимость Шотландии в 1306 году был коронован шотландской короной (под именем Роберт I). Кроме законнорожденных детей от двух браков, он имел минимум 5 незаконнорожденных детей, старшим из которых был Роберт.