Både engelske og skotske slektslinjer av familien Brus/Bruce nedstammet beviselig fra Robert de Brus, 1. lord av Annandale (ca. 1070 – 1142) som kom til England i 1106. Robert de Brus var våpenfelle av prins David, den senere David I av Skottland (ca. 1083 – 1153). I 1124 fulgte han David nordover for å kreve tilbake sitt kongerike. Da en borgerkrig brøt ut i England mellom keiserinne Maud (eller Matilda) og hennes fetter, Stefan, grep David anledningen til å føre en hær inn i England. Imidlertid fulgte ikke Robert de Brus den skotske kongen, og gikk isteden sammen med de engelske styrkene, og i fanenes slag i 1138 tok han sin egen sønn til fange, som nå var herre over landene i Annandale og kjempet for skottene. Robert de Brus, 1. herre av Annandale, døde den 11. mai 1141 og ble gravlagt i den engelske landsbyen Gisburn i Lancashire. Da sønnen til sist slapp fri fra engelsk fangenskap dro han tilbake til Skottland, og for å demonstrere sin vilje på å etablere sin egen divisjon av familien i Skottland, frasa han seg farens våpenskjold bestående av rød løve på bakgrunn i sølv og tok isteden det nå velkjente røde St. Andreas-korset på gull bunn.