摩尔于1737年左右生于卡罗莱纳殖民地恐怖角地区的新汉诺威县。他的家族在威尔明顿以北约24公里、恐怖角河（）流域的罗基波恩特（）拥有大量土地。詹姆斯的父亲叫莫里斯·摩尔（），母亲玛丽·波特·摩尔（）是莫里斯的第二任夫人。詹姆斯的哥哥和父亲同名，之后成为美国革命期间北卡罗莱纳的爱国者政治领袖。詹姆斯的妹妹丽贝卡·摩尔（）嫁给了约翰·阿什（），后者是美国革命战争领袖兼民兵将领。摩尔的爷爷也叫詹姆斯·摩尔，曾在北卡罗莱纳和南卡罗莱纳同属一个殖民地时担任总督。莫里斯·摩尔曾在乔治·伯林顿（）担任总督期间提倡在恐