પરંતુ જ્યારે કેસરીની આગેવાની હેઠળ કોંગ્રેસે લોકસભાની ચૂંટણીમાં ખરાબ દેખાવ કર્યો ત્યારે કોંગ્રેસના નેતાઓે કેસરીની વિદાયનો તખતો ઘડી નાખ્યો હતો.