Роберт происходил из рода Брюсов, который имел нормандские корни. Родоначальником данного рода долгое время считался нормандец Роберт де Брюс, который якобы участвовал в битве при Гастингсе, после чего получил владения в Англии, но в настоящее время эта версия считается сомнительной. Первым достоверно известным предком династии сейчас считается Роберт I де Брюс, который происходил из Брикса (к югу от Шербура). Он был союзником будущего короля Генриха I, который, получив английскую корону, даровал Роберту обширные земли в Йоркшире: сначала 80 поместий, которые в основном были сосредоточены в , а позже ещё 30 поместий около . В дальнейшем владения ещё увеличились за счёт пожалования поместий в Харте и Хартнесе (графство Дарем). Также Роберт был хорошо знаком с будущим шотландским королём Давидом I, который, получив корону, даровал Роберту Аннандейл в Шотландии.