是苏格兰贵族的后裔，其家族可以一直完整地追溯到14世纪。汉密尔顿的祖父老亚历山大·汉密尔顿是格拉斯哥埃尔郡史蒂文斯顿教区的领主。詹姆斯·汉密尔顿没有受过正规教育，在哥哥的赞助下来到圣基茨岛进行蔗糖贸易。汉密尔顿的母亲为逃避第一次婚姻离开尼维斯，来到圣基茨岛，并在那里遇到詹姆斯·汉密尔顿。因为当时的离婚手续极其繁琐，所以到汉密尔顿出生为止"（关于汉密尔顿的出生年说法不一，成年后他和家人的陈述之中，他的出生年份大多被认为是1755年，但是在汉密尔顿去美洲以前的一些文章与文件之中，他的出生年份却被写作1757