Su padre, Robert James, fue un comerciante de cáñamo y ministro de la Iglesia Bautista de Kentucky, que después de casarse emigró a Bradford, Missouri, y ayudó a fundar la William Jewell College Liberty.