Edward var sønn av Robert Bruce, jarl av Carrick, 6. lord av Annandale, og Marjorie av Carrick, 3. grevinne av Carrick. Hans fødselsdato er ukjent, men som den andre av fem brødre var det sannsynligvis ikke lenge etter at hans eldste bror som ble født 1274.