ભાજપમાં કેટલાક લોકો સ્વામીની પડખે છે પરંતુ એક વરિષ્ઠ નેતાના જણાવ્યા પ્રમાણે સ્વામીને બહુ સખત શબ્દોમાં ખખડાવવામાં આવ્યા છે.