ધીરેધીરે તેમનો આખો સંયુક્ત પરિવાર યાદવગીરીના ઘરમાં આવીને રહેલો પણ ૧૯૮૩માં તેમની મા જ્ઞાાનમ્બાનું મૃત્યુ થયું અને ૧૯૮૭માં પટ્ટાનીનું ત્યારબાદ આર. કે. નારાયણનું સ્વાસ્થ્ય પણ કથળવા લાગ્યું.