વર્ષ 1980, 1984, 1989 અને 1990ની લોકસભાની ચૂંટણીમાં તેમને હારનો સામનો કરવો પડ્યો.