Мало что известно о происхождении Джеймса Мура. Вероятно, он был сыном Роджера Мура (Рори О’Мура) (ок. 1600—1655), лидера Ирландского восстания в 1641 году. Впервые Джеймс Мур упоминается впервые в провинции Каролина в 1675 году, когда он представлял Маргарет Беррингер Йеменс, вдову сэра , в колониальном совете. Примерно в это же время он женился на Маргарет, дочери последней от первого брака.