Роберт происходил из рода Брюсов, который имел нормандские корни. Родоначальником данного рода долгое время считался нормандец Роберт де Брюс, который якобы участвовал в битве при Гастингсе, после чего получил владения в Англии, но в настоящее время эта версия считается сомнительной. Первым достоверно известным предком династии сейчас считается Роберт (I) де Брюс, который происходил из Брикса (к югу от Шербура), где был союзником будущего короля Генриха I, который, получив в 1106 году английскую корону, даровал Роберту обширные владения в Йоркшире: сначала 80 поместий, которые в основном были сосредоточены в , а позже ещё 30 поместий около . В дальнейшем владения ещё увеличились за счёт пожалования поместий в Харте и Хартнесе (графство Дарем). Также Роберт был хорошо знаком с будущим шотландским королём Давидом I, который, получив корону, даровал Роберту Аннандейл в Шотландии.