En 1808, después de la muerte de su madre, accedió a vivir como hijo adoptivo de David Porter, oficial naval cuyo padre había sido amigo del padre biológico de James, Jorge Farragut.