James Davis var eneste barn av John Frank og Elizabeth R. ( Didier) Davis. Han og familien flyttet fra Michigan til Topeka i Kansas, og senere til Flagstaff i Arizona. Han studerte ved i Menlo Park i California.