ગુજરાતના રાજ્યપાલના રૂપમાં તેમના અને તત્કાલીન મુખ્યમંત્રી નરેન્દ્ર મોદીની વચ્ચે સંબંધોમાં ખૂબ જ ખટાશ રહી હતી.