રાયબરેલીનું જ્યારે જ્યારે ગાંધી પરિવારે નેતૃત્વ કર્યું છે, ત્યારે પાર્ટીને ભારે નુકસાન ઉઠાવવું પડ્યું છે, ભલે તે કેપ્ટન સતીશ શર્માનો સમય રહ્યો હોય અથવા શીલા દીક્ષિત કે દીપા કૌલનો.