૧૯૯૫થી ૨૦૦૧ સુધી મોદી ગુજરાતમાંથી ગેરહાજર રહ્યા. કહેવાય છે કે ઑક્ટોબર ૨૦૦૧માં મોદીને મુખ્યમંત્રીનો તાજ પહેરાવતી વખતે અડવાણીએ તોગડિયાનો મત લીધો હતો. મોદી મંત્રીમંડળમાં તોગડિયાએ તેમના ખાસ ગોરધન ઝડફિયાને ગૃહમંત્રી બનાવ્યા. ગોધરાકાંડ પછી ભાજપના સપોર્ટમાં તોગડિયાએ સતત બે અઠવાડિયાં સુધી હેલિકોપ્ટરમાં ઉડાઉડ કરીને ૧૦૦ જેટલી રેલીઓ અને સભાઓ ગજવી. મોદી ફરી મુખ્યમંત્રી બન્યા એ સાથે જ સ્થિતિ બદલાઈ ગઈ. મોદીએ તત્કાલ ઝડફિયાને મંત્રીમંડળમાંથી પડતા મુકીને તોગડિયાને સિગ્નલ આપી દીધંુ કે હવે સરકારમાં તમારી દખલગીરીની જરૃર નથી. તોગડિયા સાથેના વિચારવિમર્શની પ્રક્રિયા અટકાવી દેવાઈ. તોગડિયા સહાયક અશ્વિન પટેલ સામે મોદીના હિન્દુત્વને પડકારતા એસએમએસ મોકલવા બદલ ફરિયાદ થઈ. ખેડૂતોનું આંદોલન શરૃ કરવા બદલ ભારતીય કિસાન સંઘની તેમના સરકારી ક્વાર્ટરમાંથી હકાલપટ્ટી થઈ. સુપ્રીમ કોર્ટના દબાણના પગલે ગોધરાકાંડના કેસો ફરી ખૂલ્યા અને ટોળાંની આગેવાની લીધી હતી તેવા વિહિપ અને બજરંગદળના કાર્યકર્તાઓની ધરપકડ થઈ ત્યારે મોદી-તોગડિયા વચ્ચેના સંબંધો વધુ તંગ બન્યા. સરકારે ગાંધીનગરમાં રોડ વચ્ચે આવતાં ૨૦૦ જેટલાં મંદિરો તોડી પાડ્યાં ત્યારે વિહિપ વડા અશોક સિંઘલે તો મોદીની ગઝની સાથે સરખામણી કરી દીધી. ૨૦૧૧માં મોદીના સદ્દભાવના ઉપવાસની ટીકા કરતાં તોગડિયાએ તેને નાટકરૃપ ગણાવ્યા.