કહેવાય છે કે સોનિયા ગાંધીનાં ભૂતકાળ વિશેની અમુક કથિત વાતો જાણ્યા બાદ સ્વામીએ ગાંધી પરિવારથી અંતર કરવા માંડ્યું હતું.