પ્રવીણ તોગડીયાએ VHP છોડ્યા બાદ વણીકર ભવનો વિવાદ સર્જાયો, સામ-સામે આવ્યા કાર્યકરો