બિરલા કુટુંબ સાથે ગાંધીજીને ઘણો જ ગાઢ સંબંધ હતો. દિલ્હીમાં તેઓ બિરલા ભવનમાં જ ઊતરતા. તેમના જેવા મૂડીવાદીને ત્યાં ગાંધીજી રહેતા તેથી પ્રજાના એક વર્ગને એ ગમતું નહીં. બિરલા ગાંધીજીનો ખોટી રીતે લાભ ઉઠાવે છે એવું પણ એ વર્ગ કહેતો. તેમને ગાંધીજી વિનોદમાં કહેતા કે, ‘હું પાકો વાણિયો છું. બિરલાજી મને વટાવી શકે એમ નથી.’