साल 2004 में जब उनकी पार्टी को आंध्र प्रदेश में हार का सामना करना पड़ा और उसके बाद 2004 के लोकसभा चुनाव में एनडीए गठबंधन को भी हार मिली तो नायडू ने इस हार का ठीकरा साम्प्रदायिक छवि वाली बीजेपी और गुजरात दंगों पर फोड़ने में ज़रा सी भी देर नहीं लगाई।