Poco después del primer cumpleaños de James, su familia se desplazó a vivir a Cooperstown, Nueva York, una comunidad que había sido fundada por su padre en una gran extensión de tierra que fue adquirida con el fin de emprender.