Apodado "el padre fundador del tenis estadoundiense", James se graduó en la Universidad de Harvard en 1874 y se embarcó en un viaje por Europa donde conoció el nuevo deporte y consiguió el equipamiento necesario para practicarlo a su vuelta a los Estados Unidos.