કહેવાય છે કે અમુક એવી ઘટનાઓ બની હતી કે એનાથી સ્વામીએ કોંગ્રેસ પાર્ટી છોડી દીધી હતી એટલું જ નહીં, પણ કોંગ્રેસ વિરુદ્ધ ઉગ્ર બળવો પોકાર્યો હતો.