尔逊出生于苏格兰边区霍伊克。他的父亲威廉·威尔逊相当富有，拥有一家纺织厂，他的祖先是当地饲养羊只的农民。他是家中的第四个孩子（共有15个孩子，其中10顺利成人）。詹姆斯还年幼的时候，他的母亲就不幸去世。出身于贵格会家庭，并成为成功的学者，他原本会担任校长，但是詹姆士·威尔逊很讨厌它，“宁愿在父亲的工厂担任最卑微的仆人”。后来他决定学习经济学。因此詹姆士·威尔逊在16岁，成为了帽子工厂的学徒。后来，他的父亲为了他和他的哥哥威廉买下了该公司。詹姆士·威尔逊19岁的时候，他们离开苏格兰，前往伦敦，他还获得20