સગીર વહીવટ દરમિયાન પટ્ટણીજીને ગાંધીજી અને કૉંગ્રેસ સાથે ગાઢ સંબંધ હતો તે માટે સરકારમાંથી બે ત્રણ વખત સખ્તાઈભર્યાં કાગળો આવેલા અને પોતે બાળમહારાજને અને આખા રાજ્યને આ સંબંધથી નુકશાન કરે છે વગેરે કહેવામાં આવેલું.