એમ કહેવાય છે કે વાજપેયીએ એવી અફવા ફેલાવી કે સ્વામી સીઆઈએના એજન્ટ છે અને સ્વામીને નાણાં મંત્રાલય મળતું અટકાવેલું.