રાજ ઠાકરેના મોદી પર આકરા પ્રહાર, PMએ ગુજરાતમાં લોકપ્રિયતા ગુમાવી