સ્વામી અર્થશાસ્ત્રમાં એટલા બધા નિષ્ણાત હતા કે તેઓ જ સ્વાભાવિક નાણા પ્રધાન તરીકેના અગ્રણી દાવેદાર હતા. એમ કહેવાય છે કે વાજપેયીએ એવી અફવા ફેલાવી કે સ્વામી સીઆઈએના એજન્ટ છે અને સ્વામીને નાણા મંત્રાલય મળતું અટકાવેલું. સ્વામી કટોકટીના સમય દરમિયાન આરએસએસની અંદરનાં વર્તુળોમાં સ્થાન પામી ગયા હતા. પણ નાણા મંત્રાલય ન મળવાના કારણે તેઓ વાજપેયી અને સંઘના વિરોધી બની ગયા. પછીથી તેમણે વાજપેયી અને તત્કાલીન સંઘ સરસંઘચાલક (પ્રમુખ) બાળાસાહેબ દેવરસ પર કટોકટી દરમિયાન ઈન્દિરા ગાંધીને માફી પત્ર લખી આપ્યાનો આક્ષેપ કર્યો હતો. વાજપેયી દારૂ પીતા હોવાનું પણ સ્વામીએ તેમની આત્મકથામાં લખેલું છે. તેમણે લખ્યું છે, “મોરારજી અને ચરણસિંહ તેમની નૈતિકતા માટે જાણીતા હતા. પરંતુ જનતા પક્ષમાં રહેલા કેટલાક અનૈતિક તત્ત્વોએ તેમના અંગત ફાયદા માટે બંને વચ્ચે દુશ્મની કરાવી. દા.ત. જ્યારે મોરારજીએ વાજપેયીને દારૂ નહીં પીવા માટે કડક ચેતવણી આપી ત્યારે વાજપેયી ભોંઠા પડી ગયેલા. દિલ્લીમાં જાપાનના વિદેશ પ્રધાને એક પાર્ટી રાખી હતી. વાજપેયી વિદેશ પ્રધાન તરીકે તેમાં હાજર હતા. તેઓ પીધેલા હતા. મને પણ તેમાં ભોજન માટે આમંત્રણ હતું. મને એ જોઈને આઘાત લાગ્યો કે વિદેશ પ્રધાન (વાજપેયી) ફૂલ પીધેલી સ્થિતિમાં હતા…”