Randall var oppkalt etter fader James A. Ryder S.J. (1800–1860), den tyvende president av Georgetown University. James R. Randall skulle selv studere på Georgetown University, men sluttet før slutteksamen. Han reiste så omkring i Sør-Amerika og i de vestindiske øyer. Deretter underviste han i engelsk litteratur ved det lille Poydras College i Pointe Coupee i Louisiana, der det var et sterkt kreolsk miljø.