જ્યારે ગાંધીજીએ દાંડીસત્યાગ્રહ ચાલુ કર્યો ત્યારે સરદારની રાસ ગામમાંથી ધરપકડ કરી તેમની ઉપર સાક્ષી, વકીલની કે પત્રકારોની ગેરહાજરીમાં મુકદમો ચલાવવામાં આવ્યો. પહેલા સરદાર અને ત્યાર બાદ ગાંધીજીની ધરપકડથી સત્યાગ્રહે વધુ જોર પકડ્યું અને જ્યાં સુધી બન્નેને છોડવામાં નહીં આવ્યા ત્યાં સુધી ગુજરાતના જિલ્લાઓએ કર વિરોધી ચળવળ ચલાવી.[૨૨] જેલમાંથી છુટ્યા બાદ સરદાર વચગાળાના કોંગ્રેસ પ્રમુખ બન્યા પણ તરતજ મુંબઈમાં એક સરઘસની આગેવાની કરતી વખતે તેમની પાછી ધરપકડ કરવામાં આવી. ગાંધી-ઇરવિન કરાર પર સહી થયા બાદ સરદારને કોંગ્રેસના ૧૯૩૧નાં કરાચી અધિવેશનમાં પ્રમુખ તરીકે ચુંટવામાં આવ્યા કે જ્યાં કોંગ્રેસે સમજુતીની બહાલી કરી જેના પ્રમાણે તે મુળભુત હક્કો અને માનવીય સ્વતંત્રતાઓ, બિનસાંપ્રદાયિક દેશ માટેની કલ્પના તથા ન્યૂનતમ વેતનની બહાલી અને અસ્પૃશ્યતા તથા ખેતગુલામીને નાબુદ કરવા પ્રત્યે કટીબદ્ધ રહેશે. સરદાર તેમના હોદ્દોનો ઉપયોગ કરી ગુજરાતના ખેડુતોની જપ્ત થયેલી જમીન પરત અપાવવાનું આયોજન કરી આપ્યું.[૨૩] લંડનની ગોળમેજી પરીષદ નિષ્ફળ નીવડતા વેંત આઝાદી માટેની ચળવળને પુન: જોર મળ્યું અને જાન્યુઆરી ૧૯૩૨માં ગાંધીજી તેમજ સરદારની ધરપકડ કરી તેમને યરવડાં જેલમાં રાખવામાં આવ્યા. તેમના જેલવાસ દરમ્યાન સરદાર અને ગાંધીજી વચ્ચે સ્નેહ, વિશ્વાસ તથા નિખલાસતાનો બંધન બંધાયો કે જેને મોટાભાઈ – ગાંધીજી અને તેમના નાના ભાઈ સરદાર વચ્ચેના બંધુત્વ તરીકે વર્ણવી શકાય. ગાંધીજી સાથે થતી સરદારની અવારનવાર દલીલો છતાં તેમને ગાંધીજીની સહજ વૃત્તિ તથા આગેવાની પ્રત્યે માન હતું. જેલવાસ દરમ્યાન બન્ને રાષ્ટ્રીય તેમજ સામાજીક મુદ્દાઓ ઉપર ચર્ચા કરતા, હિંદુ મહાકાવ્યો વાંચતા તથા વિનોદી ટુચકાઓ કહેતા. ગાંધીજીએ તેમને સંસ્કૃત ભાષા પણ શિખવી હતી. ગાંધીજીના સચિવ મહાદેવ દેસાઈ બન્ને વચ્ચેની વાર્તાલાપની વિસ્તૃત નોંધ રાખતા.[૨૪] હરીજનોને વેગળા અપાયેલા મતદારમંડળના વિરોધમાં ગાંધીજી જ્યારે આમરણ ઉપવાસ ઉપર ઉતર્યા ત્યારે સરદારે તેમની દેખરેખ કરી હતા તથા પોતે પણ અન્નનો ત્યાગ કરી તેમાં જોડાયા હતા.[૨૫] પછીથી સરદારને નાસિક જેલમાં ખસેડવામાં આવ્યા કે જ્યાં ૧૯૩૪માં તેમનાં મોટાભાઈ વિઠ્ઠલભાઈના દેહાંત બાદ તેમની અંતિમક્રિયામાં ભાગ લેવા બ્રિટિશ સરકારે સરદારને થોડા દિવસો માટે મુક્ત કરવાની તૈયારી દાખવી હોવા છતા તેમણે તે સ્વીકારી ન હતી. ૧૯૩૪ અને ૧૯૩૭માં સરદારે અખિલ ભારતીય ચુંટણી માટેના કોંગ્રેસી પ્રચારનું નેતૃત્વ કર્યું હતું કે જેમાં તેઓએ નાણાં એકઠા કરાવ્યા, ઉમેદવારોની પસંદગી કરી તથા મુદ્દાઓ અને પ્રતિસ્પર્ધિ તરફ કોંગ્રેસના વલણને નિશ્ચિત કર્યું.[૨૬] પોતે ચુંટણીમાં ઉભા ન હોવા છતાં તેમણે અન્ય કોંગ્રેસીઓને પ્રાંતિય તેમજ રાષ્ટ્રીય ચુંટણી જીતવામાં માર્ગદર્શન પુરું પાડ્યું હતું. હરસ માટેની શસ્ત્રક્રિયા કરાવ્યા છતાં ૧૯૩૭માં તેમણે બારડોલીમાં પ્લેગ તથા દુષ્કાળના અતિક્રમણ સામેના રાહતના કાર્યોમાં માર્ગદર્શન આપ્યું. તેમણે ચુંટણીમાં જીતેલા કોંગ્રેસી મંત્રીઓને માર્ગદર્શન આપવાનું ચાલુ રાખ્યું કે જેનાથી પાર્ટીમાં શિસ્ત જળવાઈ રહી. સરદારને ડર હતો કે અંગ્રજો ચુંટાયેલા કોંગ્રેસીઓ વચ્ચે મતભેદો ઉભા કરવામા કસર બાકી નહીં રાખે કે જેના લીધે પુર્ણ સ્વરાજના ધ્યેય ઉપરથી ચુંટાયેલા કોંગ્રેસીઓનું ધ્યાન હટી જાત.[૨૭] ૧૯૩૬ના કોંગ્રેસ અધિવેશન દરમ્યાન નેહરુની સમાજવાદને અપનાવાની ઘોષણાની વિરુધ્ધ તેમના નેહરુ સાથે મતભેદો ઉભા થયા. ૧૯૩૮માં, ત્યારના કોંગ્રસ પ્રમુખ સુભાષચંદ્ર બોઝના ગાંધીજીની અહીંસાને લગતા સિદ્ઘાંતોથી વિમુખ થવાના પ્રયત્નોનો સરદારે બીજા કોંગ્રેસીઓ સાથે મળીને વિરોધ કર્યો. તેઓ બોઝને સરમુખત્યારશાહ તથા પાર્ટી ઉપર વધુ વર્ચસ્વ સાધવાની ઈચ્છા ધરાવતા હોય તેમ માનતા. સરદારે વરિષ્ઠ કોંગ્રેસી નેતાઓને લઈ વિરોધ દર્શાવ્યો કે જેના લીધે બોઝે રાજીનામું આપવું પડ્યું હતુ. પણ બોઝના સમર્થકો, સમાજવાદીઓ તથા બીજા કોંગ્રેસીઓ પાસેથી તેમણે ટીકાનો સામનો કરવો પડ્યો કે જેમના પ્રમાણે પટેલ પોતે ગાંધીજીના સત્તાધિકારને બચાવવા સરમુખત્યારની જેમ વર્તી રહ્યા હતા.