Elgin, Moray
1771年5月に父が死去し、兄ウィリアム・ブルースが第6代エルギン伯爵位を継承したが、この兄も同年7月に7歳で死去したため、ジェイムズが5歳にして第7代エルギン伯爵位を継承することになった。