પટેલોના મત વહેંચાયા, અન્ય જ્ઞાતિઓના મત કોંગ્રેસ તરફી પડ્યા