Nacidos en Putnam County, Nueva York, James se mudó primero cerca de Rochester, Nueva York, después a Menomonee, en Waukesha County, Wisconsin (cerca de Milwaukee, Wisconsin), montando una granja cerca de lo que hoy es South Wayne, en el suoreste de Wisconsin.