સરદાર ગાંધીજી પ્રત્યે ખુબજ વફાદાર હતા તેમજ તેઓ અને નેહરુ બન્ને પોતની વચ્ચેના મતભેદોના ઉકેલ માટે ગાંધીજી પાસે જતા. સરદાર અને નેહરુ વચ્ચે ધણીવાર રાષ્ટ્રીય મુદ્દાઓ ઉપર તરકાર ઉભી થઈ હતી. જ્યારે નેહરુએ કાશ્મિરની નીતી ઉપર પોતાના નિયંત્રણનો દાવો કર્યો હતો ત્યારે સરદારએ તેમના ગૃહ ખાતાના અધિકારીઓની અવગણના સામે વિરોધ નોંધાવ્યો હતો.[૫૫] નેહરુને સરદારે કરેલા રાજ્યોના સંમેલીકરણને લગતા નિર્ણયો, કે જે લેતી વખતે તેમણે નેહરુ કે મંત્રીમંડળને સામેલ ન કર્યા, તેનું નેહરુને માઠું લાગ્યું હતું. સરદારને ખબર હતી કે તેઓ નેહરુ જેટલા જુવાન ન હતા તેમજ તેમના જેટલા લોકપ્રિય પણ ન હતા અને તેથી તેઓએ પોતાની જાતને કાર્યકારી જવાબદારીમાંથી મુક્ત કરવા ગાંધીજીને વિનંતી કરી હતી. તેમનુ માનવુ હતું કે ખુલ્લી રાજનૈતિક લડાઈથી ભારતને નુકશાન થશે. પુર્ણ વિચાર અને મસલત કર્યા બાદ, સરદારની અપેક્ષાથી અલગ, ગાંધીજીએ ૩૦ જાન્યુઆરી ૧૯૪૮ના દિવસે તેમને સરકારમાંથી બહાર જવાની મનાઈ કરી હતી. ગાંધીજીના મત પ્રમાણે સ્વતંત્ર ભારતને સરદાર અને નેહરુ બન્નેની જરૂર હતી. ગાંધીજીના મૃત્યુના દિવસે સરદાર તેમની સાથે ખાનગીમાં વાત કરવા વાળા છેલ્લા વ્યક્તિ હતા અને તેમના ગયા બાદ થોડીજ મિનિટોમાં ગાંધીજી ઉપર જાનલેવા હુમલો થયો હતો. [૫૬] ગાંધીજીના મરણ બાદ તેમને શ્રદ્ધાંજલી આપતા તેમના પાર્થિવ દેહની બાજુમાં પટેલ અને નેહરુ એક બીજાને ભેટ્યા હતા અને સાથે મળીને રાષ્ટ્રને સંબોધન કર્યું હતુ. સરદારે તેમના ઘણા સાથીઓ તેમજ મિત્રોને સાંત્વના આપી હતી જે કર્યા બાદ તેઓએ તરતજ સંભવિત હિંસાને ખાળવાના પગલા લીધા હતા.[૫૭] ગાંધીજીના મૃત્યુના બેજ મહીનામાં સરદારને હ્રદય હુમલો થયો હતો પણ તેમના પુત્રી તેમજ તેમના મુખ્ય સચિવ અને પરિયારીકાની સમયસુચકતાને લીધે સરદારનો જીવ બચી ગયો હતો. પાછળથી સરદારે કહ્યું હતુ કે ગાંધીજીના દેહાંતને લીધે તેમના મનમાં દુ:ખનો ડુમો ભરાવાથી તેમને હ્રદય હુમલો થયો હતો.[૫૮]