Lord Bruce (como era conocido hasta la muerte de su padre en 1863) nació en Montreal, donde su padre ocupaba el cargo de Gobernador General de Canadá.