પરંતુ પારિવારિક મતભેદોને લીધે તેઓ છેલ્લા પાંચેક વર્ષથી પત્ની અને સંતાનોને છોડીને તેમના બહેન મધુરિકાબેન પાસે જૂનાગઢ ખાતે રહેવા માટે આવી ગયા હતા.