’ -નરોત્તમ પટેલ, પૂર્વમંત્રી