സന്തുഷ്ടമായ ഈ ബാല്യത്തിന് അന്ത്യം വന്നത് റുസ്സോക്ക് പത്ത് വയസ്സുള്ളപ്പോൾ ഒരു തർ‍ക്കത്തിൽ ജയിൽശിക്ഷയിൽ നിന്ന് രക്ഷപെടാനായി പിതാവിന് നാടുവിടേണ്ടി വന്നതോടെയാണ്. ജനീവയിൽ ബന്ധുക്കളുടെകൂടെ തുടർന്ന റൂസ്സോ ഔപചാരികവിദ്യാഭ്യാസം പൂർത്തിയാക്കുകയോ ഏതെങ്കിലും തൊഴിലിൽ പരിശീലനം നേടുകയോ ചെയ്തുകാണാനായുള്ള ബന്ധുക്കളുടെ ശ്രമങ്ങൾ വിഭലമായി. ഒരു ലോഹഫലകനിർമ്മാതാവിന്റെ (Engraver) അടുത്തു അദ്ദേഹം പരിശീലനത്തിനു ചേർന്നെങ്കിലും റുസ്സോയുടെ പ്രായോഗികഫലിതങ്ങളും ചില്ലറമോഷണവും ഒക്കെ അവിടെ മറ്റുള്ളവരുമായി ചേർന്നുപോകുന്നതിന് തടസ്സമായി. ഒടുവിൽ അദ്ദേഹം പരിശീലനം ഉപേക്ഷിച്ച് പതിനാറാമത്തെ വയസ്സിൽ നാടുവിട്ടു. കാൽ‌വിനിസ്റ്റ് വിശ്വാസത്തിൽ വളർന്നു വന്ന റുസ്സോ ഇറ്റലിയിലെ സെവോയ് എന്ന സ്ഥലത്ത് ഒരു കത്തോലിക്കാ പുരോഹിതനെക്കണട് കത്തോലിക്കാ സഭയിൽ ചേരാനുള്ള ആഗ്രഹം പ്രകടിപ്പിച്ചു. ഇതിന്റെ പിന്നിലെ ലക്‌ഷ്യം സ്വാർഥമായിരുന്നു എന്ന് അദ്ദേഹം സമ്മതിക്കുന്നുണ്ട്. ഈ പരിവർത്തനം റുസ്സോയെ, അതിനടുത്ത കാലത്ത് കത്തോലിക്കാവിശ്വാസം സ്വീകരിച്ച മദാം വാറൻസ് എന്ന ഇരുപത്തെട്ടുകാരി വിധവയുമായുള്ള പരിചയത്തിലെത്തിച്ചു. തുടർന്നുള്ള പതിറ്റാണ്ട്, ഇടക്കിടെ റുസ്സോ അവർക്കൊപ്പം കഴിഞ്ഞു. സുന്ദരിയും, ഉദാരമനസ്കയും ധനികയും ആയിരുന്ന അവർ റുസ്സോയുടെ വിദ്യാഭ്യാസത്തിലും പുരോഗതിയിലും താത്പര്യം കാണിച്ചു. അമ്മ(Maman) എന്നാണ് അദ്ദേഹം അവരെ വിളിച്ചിരുന്നതെങ്കിലും അവരുമായി റുസ്സോക്കുണ്ടായിരുന്നത് പരിചാരകന്റേയും സഹായിയുടേയും കാമുകന്റേയും ഭാഗങ്ങൾ ചേർന്ന വിചിത്രബന്ധമായിരുന്നു. ഇടക്ക് മദാം വാറൻസിനെ അദ്ദേഹം ഉപേക്ഷിച്ചു പോവുകയും മടങ്ങിവരുകയും ചെയ്തുകൊണ്ടിരുന്നു. 1938-ലാണ് റുസ്സോയുമായുള്ള ബന്ധം അവർ അവസാനിപ്പിച്ചത്. ഊരുചുറ്റലുകൽക്കിടയിലും റൂസ്സോ ചില്ലറജോലികൾക്കും പ്രേമബന്ധങ്ങൾക്കും അവസരം കണ്ടെത്തി. ഇടക്ക് ട്യൂഷൻ മാസ്റ്ററായി നോക്കിയെങ്കിലും ആ തൊഴിലും ഇഷ്ടമായില്ല. 1942-ൽ പാരീസിലെ അക്കാഡമിക്കു മുൻപിൽ ഒരു പുതിയ സംഗീതവ്യവസ്ഥ അവതരിപ്പിച്ചെങ്കിലും അത് വിജയിച്ചില്ല.