જોકે ગોધરા કાંડ તેમજ રમખાણો 2002માં થયાં, પરંતુ નીતિશને મોદી રૂપી જમ ત્યારે પહેલી વાર નડ્યાં, જ્યારે બે વરસ બાદ 2004માં થયેલ લોકસભા ચુંટણીમાં બાજપાઈ સરકારનું પતન થયું અને નીતિશ કુમારે મંત્રી પદ ગુમાવવું પડ્યું.