俄州代顿出生，父亲叫亚伯兰·韦弗（），母亲叫苏珊·伊姆莱·韦弗（），两人共有13个孩子，詹姆斯排行第5。亚伯兰也是在俄亥俄州出生，是革命战争先辈之后，以务农为生，于1824年迎娶新泽西姑娘苏珊。詹姆斯出生后不久，一家人于1835年迁居至密歇根州卡斯县卡索波利斯（）以北约14.5公里的一个农场。1842年，韦弗一家再度迁居，搬到爱荷华领地，等待来年萨克和福克斯领地向白人定居者开放，之后取得了戴维斯县切克斯特溪沿线一片宅基地的所有权。亚伯兰·韦弗这此建起新房，并在这里耕作到1848年，全家再度迁居，这次搬到了县