તેમના સુખી દાંપત્યજીવનમાં ૩ દીકરા-દીકરીનો જન્મ થયો હતો, ૫૧ વર્ષની ઉંમરે લલિતાબહેનનું મૃત્યુ થતાં પત્ની સાથે આજીવન ન રહ્યાનું દુ:ખ અને વસવસો તેમના મનમાં સતત રહ્યો.