ગાંધીજીનો યુદ્ધ સામે નૈતિક વિરોધ હવાથી તેમણે અંગ્રેજ સરકારને કોઈપણ જાતનો ટેકો આપવાની તરફેણમાં ન હતા, જ્યારે સુભાષચંદ્ર બોઝે અંગ્રેજોની સામે લશ્કરી મોર્ચો બાંધ્યો હતો. અંગ્રેજોએ રાજગોપાલાચારીની પહેલ ઠુકરાવી દીધી ને સરદારે પાછી ગાંધીજીની આગેવાની સ્વીકારી.[૨૮] તેઓ ગાંધીજીએ આપેલા વ્યક્તિગત અસહકારની હાકમાં સહભાગી થયા અને ૧૯૪૦માં તેમની ૯ મહીના માટે ધરપકડ કરવામાં આવી. તેમણે ૧૯૪૨માં ક્રિપ્સ મિશનને આપેલી સુચનાઓનો પણ વિરોધ કર્યો હતો. આ દરમ્યાન જેલમાં તેમનું ૯ કિલો જેવું વજન ઘટ્યું હતું શરુઆતમાં જ્યારે નેહરુ, રાજગોપાલાચારી તેમજ મૌલાના આઝાદએ અંગ્રેજોને ભારત છોડાવવા માટે ગાંધીજીની ભારત છોડોની હાકાલની ટીકા કરી હતી ત્યારે સરદાર તેના ઉત્સાહી સમર્થક હતા. તેમની દલીલ હતી કે જેમ અંગ્રેજોએ સિંગાપુર તથા બર્મામાંથી પિછેહઠ કરી હતી તેમજ તેઓ ભારતમાંથી પણ કરશે અને ભારત છોડોની શરુઆત તુરંત થવી જોઈએ.[૨૯] અંગ્રેજો તુરંત ભારત છોડીને નહી જાય તે વાતથી વાકેફ હોવા છતાં સરદાર ખુલ્લા બળવાની તરફેણમાં હતા કારણકે તેમને એમ હતું કે વિશ્વયુદ્ધ પ્રત્યેના અલગ અલગ અભિગમોમાં વહેચાએલાં લોકોને આવો બળવો ઉત્તેજીત કરી એકજુટ કરશે. તેમના મતે ખુલ્લા બળવાનો એક ફાયદો એ પણ હતો કે તેનાથી અંગ્રેજ સરકારે માનવું પડત કે તેમના રાજનું ભારતમાં કોઈ સમર્થન ન હતું તથા તેમણે ભારતીયોને સત્તા સોંપવાનું કામ ઝડપથી ચાલુ કરી દેવું જોઈએ.[૩૦] બળવામાં પોતાનો પુર્ણ વિશ્વાસ હોવાથી જો તેને કોંગ્રેસ તરફથી સમર્થન ન મળે તો સરદારે કોંગ્રેસમાંથી રાજીનામું આપવાની ઈચ્છા પણ દર્શાવી હતી.[૩૧] ગાંધીજીએ અખિલ ભારતીય કોંગ્રેસ સમિતી ઉપર બળવાને સ્વીકૃતી આપવા દબાણ કર્યુ કે જેના પરીણામે સમિતીએ 7 ઓગસ્ટ 1942માં અસહકાર ચળવળને મંજુરી આપી હતી. જેલવાસ દરમ્યાન તેમની તબીયત કથળી હોવા છતાં સરદારે ભારતભરમાં મોટા જન સમુદાયોને લાગણીશીલ ભાષણો આપ્યા હતા[૩૨] કે જેમાં તેમણે લોકોને કર નહી ભરીને અસહકાર ચળવળમાં સામેલ થવા તથા મોટાપાયે ધરણા આયોજી સનદી સેવાઓને ઠપ કરવા કહ્યું હતું. તેમણે નાણાં એકઠા કર્યા તથા રાષ્ટ્રીય નેતાઓની ધરપકડનાં ભય સામે બીજી હરોળના સંચાલકો ઉભા કર્યા.[૩૩] ૭મી ઓગસ્ટે સરદારે મુંબઈની ગોવાળીયા ટેંક મેદાનમાં ૧૦૦૦૦૦ લોકોની સામે ભાષણ કરતા કહ્યુ હતું: