Джеймс Алоизиус Харден родился 8 декабря 1854 года в Сан-Франциско, в разгар Калифорнийской золотой лихорадки, что повлияло на решение матери Джеймса уехать с ним в Париж, где детство Хардена пришлось на период Французской империи. Император Наполеон III, а именно его ораторское искусство и реформаторская деятельность, оказали значительное влияние на Джеймса. В детстве он учился в Бельгии у иезуитов, а затем изучал право в Лейпцигском университете. В возрасте 19 лет он поступил в военную академию Сен-Сир, которую окончил в 1875 году с высокими оценками.