സ്വിറ്റ്സർലണ്ടിലെ ജനീവയിലാണ് അദ്ദേഹം ജനിച്ചത്. റുസ്സോയുടെ പിതാവ് ഒരു പാവപ്പെട്ട ക്ലോക്ക് നിർമ്മാതാവായിരുന്നു. പുറം വരുമാനത്തിനുവേണ്ടി ഒഴിവുസമയങ്ങളിൽ അദ്ദേഹം നൃത്തം പഠിപ്പിക്കുകയും ചെയ്തിരുന്നു. ജോലിസംബന്ധമായി അകലെ താമസിച്ചിരുന്ന പിതാവ്, അമ്മയോടുള്ള അഗാധപ്രേമം ഉളവാക്കിയ വിരഹദുഃഖം സഹിക്കാനാവാതെ ഒരിക്കൽ ജോലി ഉപേക്ഷിച്ച് നാട്ടിലേക്കു മടങ്ങിയെന്നും ആ തിരിച്ചുവരവിന്റെ നിർഭാഗ്യഫലമായി താൻ പത്തു മാസം കഴിഞ്ഞു ജനിച്ചുവെന്നുമാണ് റുസ്സോ ആത്മകഥയിൽ പറയുന്നത്. മാതാപിതാക്കളുടെ രണ്ടാമത്തെ കുട്ടിയായ റുസ്സോ ജനിച്ച് രണ്ടാഴ്ചക്കകം അമ്മ മരിച്ചു. പിതാവിന്റേയും, ജാക്വിലീൻ എന്നു പേരായ വളർത്തമ്മയുടേയും, ഒരു മാതൃസഹോദരിയുടേയും സം‌രക്ഷണയിൽ വളർന്ന അദ്ദേഹത്തിന്റെ ബാല്യം സന്തോഷപ്രദമായിരുന്നു. എല്ലാവരുടേയും ശ്രാദ്ധാകേന്ദ്രമായിരുന്ന അനുജനുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ‍ അവഗണിക്കപ്പെട്ട ഏഴുവയസ്സിനു മൂപ്പുള്ള റുസ്സോയുടെ ഏക സഹോദരൻ ചെറുപ്പത്തിലേ വീടുവിട്ടിറങ്ങിപ്പോയി. റുസ്സോയുടെ ആദ്യകാല വിദ്യാഭ്യാസം പിതാവിൽ നിന്നാണ് സിദ്ധിച്ചത്. അമ്മ സൂക്ഷിച്ചിരുന്ന കഥാപുസ്തകങ്ങളിലെ കഥകൾ പിതാവ് രാവെളുക്കുവോളമിരുന്ന് മകനു വായിച്ചുകൊടുത്തു. പിതാവിന്റെതന്നെ ഗ്രന്ഥശേഖരത്തിലെ ചരിത്രന്ഥങ്ങളും മറ്റുമാണ് പിന്നെ വായിച്ചത്. തന്നെ ഏറെ സ്വാധീനിച്ചതായി റുസ്സോ എടുത്തു പറയുന്ന ഒരു ഗ്രന്ഥം, ഏഴാമത്തെ വയസ്സിൽ വായിച്ചുകേട്ട, പ്രാചീനലേഖകനായ പ്ലൂട്ടാർക്കിന്റെ മഹത്ജീവിതസമാഹാരമാണ്.