ત્યારબાદ તેમણે લખનઉથી અટલ બિહારી વાજપાઇ સામે 2004 ની ચૂંટણી લડી હતી પરંતુ તેઓને હારનો સામનો કરનો પડ્યો હતો.