格兰萨福克郡，1825年定居夏威夷；母亲是夏威夷王国原住民，所以詹姆斯是夏威夷原住民和高加索人混血，夏威夷语称为“哈帕”，意为混血，美国称为“”，意为“半种姓”，即混血。他的哥哥叫约翰·爱德华·布什（），之后成为报纸出版商和政治家，曾任考艾岛皇家总督和卡拉卡瓦国王的内阁大臣。詹姆斯1864年前的经历大多已不可考，他和哥哥的职业经历都是从太平洋捕鲸船或商船上的水手开始。18至19世纪，夏威夷王国出身的水手颇受推崇。
南北战争.南北战争爆发后，夏威夷国王卡美哈梅哈四世于1861年8月2