James Berry kam im Jahr 1848 mit seinen Eltern nach Arkansas, wo sie sich im Carroll County ansiedelten. Er besuchte anschließend die "Berryville Academy" und studierte dann Jura. Erst 1866, nach dem Bürgerkrieg, wurde er als Anwalt zugelassen. Während des Bürgerkrieges kämpfte er als Leutnant in den Reihen der Konföderierten und verlor in der zweiten Schlacht bei Corinth in Mississippi sein rechtes Bein. Nach dem Krieg war er zunächst als Lehrer und dann als Anwalt tätig.