His father, Robert S. James, was a commercial hemp farmer and Baptist minister in Kentucky, who migrated to Bradford, Missouri, after marriage and helped found William Jewell College in Liberty, Missouri.
Роберт Джеймс является одним из основателей William Jewell College в г. Либерти, штат Миссури (1849) Кроме Джесси, в семье было ещё двое детей — старший брат Александер Франклин «Фрэнк» и младшая сестра Сюзан Лавиния.