Cuando la familia atravesó momentos difíciles, Jiraiya fue a la provincia de Echigo, ahora la prefectura de Niigata, y se convirtió en el jefe de una banda de yakuzas.