此摩尔家族的财富主要源于海军军需品仓库商品销售和木材生产。摩尔童年的大部分时间都是在父亲的种植园度过，直到种植园于1761年转让时止。成年后，摩尔迎娶了安娜·艾维（），两人生了二子二女，摩尔去世时四个孩子都还在世。摩尔的其中一个儿子与他同名，曾是美国独立战争期间的大陆军中尉，因在尤托泉之战中受伤导致终身残废。
殖民地从政和从军生涯.美国革命爆发前，詹姆斯·摩尔就曾担任过军官。1758年，殖民地总督阿瑟·多布斯（）任命摩尔担任约翰斯顿堡一民兵连的上尉，他担任连队统帅直至法国－印第