Poco se sabe de los orígenes de James Moore. Durante su vida afirmó en varias ocasiones que era hijo de Rory O'Moore, uno de los líderes de la Rebelión irlandesa de 1641 y que, por supuesto, él había heredado el espíritu rebelde de su padre. La primera vez que aparece el nombre de James Moore en los archivos de la Provincia de Carolina es en 1675, antes de la creación del concejo colonial y figura en representación de Margaret Berringer Yeamans, viuda de Sir John Yeamans. Por esas fechas también se tiene constancia de la primera boda de su hija llamada Margaret.