મંદિર નિર્માણ રામ નવમીથી કરવાની માંગ, વિરોધના સૂર