Bruce ble født i Montréal, mens faren, James Bruce, 8. jarl av Elgin, var generalguvernør i Canada. Han studerte ved Balliol College i Oxford og begynte deretter å engasjere seg i liberal politikk . Han var i William Ewart Gladstones regjering i 1886.