岛檀香山，具体出生日期尚无定论，有来源认为是1844年10月、1845年，1847或1848年。他的父亲乔治·亨利·布什（，1807至1853年）生于英格兰萨福克郡，1825年定居夏威夷；母亲是夏威夷王国原住民，所以詹姆斯是夏威夷原住民和高加索人混血，夏威夷语称为“哈帕”，意为混血，美国称为“”，意为“半种姓”，即混血。他的哥哥叫约翰·爱德华·布什（），之后成为报纸出版商和政治家，曾任考艾岛皇家总督和卡拉卡瓦国王的内阁大臣。詹姆斯1864年前的经历大多已不可考，他和哥哥的职业经历都是从太平洋捕鲸船或商船上的