જો કે 2004 અને 2009ની લોકસભા ચૂંટણીમાં હરિભાઈએ પણ હાર ચાંખવી પડી હતી.