તેમના સુખી દાંપત્યજીવનમાં 3 દીકરા-દીકરીનો જન્મ થયો હતો, 51 વર્ષની ઉંમરે લલિતાબહેનનું મૃત્યુ થતાં પત્ની સાથે આજીવન ન રહ્યાનું દુ:ખ અને વસવસો તેમના મનમાં સતત રહ્યો.