બાબાને જ્યારે ભાજપની સરકારે મંત્રી બનાવ્યા ત્યારે કોંગ્રેસે એવો આરોપ લગાવ્યો હતો કે ભાજપ ધર્મની રાજનીતિ કરી રહી છે.