Después de su liberación, Joseph dedicó los siguientes 4 años a una vida de vagabundo recorriendo de pueblo en pueblo el sur de Francia, sobrevivía a base de las limosnas que pedía por tocar su acordeón y cortas jornadas de trabajo en granjas clandestinas.