Nascido perto de Alexandria, Luisiana em 8 de janeiro de 1808, o pai de Wells é Samuel Levi Wells II, que era membro da Convenção Constitucional em 1811. O seu irmão, Thomas Jefferson Wells, estava envolvido na política do estado da Luisiana. Samuel Levi Wells II morreu quando James tinha 8 anos, deixando oito filhos.