શ્યામજીભાઇ ત્યારે મુંબઇના દલિતોના શૈક્ષણિક ઉધ્ધાર માટે 1932 માં સ્થપાયેલ "હિંદુ સેવક સમાજ" ના માનદ મંત્રી તરીકે કાર્યરત હતા અને એજ હિંદુ સેવક સમાજના કાર્ય બાબત માર્ગદર્શન મેળવવા તેમણે ગાંધીજીને પત્ર લખલો. જેના જવાબમાં આમંત્રણરુપી ગાંધીજીનો તાર મળતાં જ શ્યામજીભાઇ તેમના સુપુત્રી દિવ્યાબેનને લઇ સીધા પહોંચી ગયા પુના યેરવડા જેલ. જેલમાં આંબાના ઝાડ નીચે બેસીને તેમણે ગાંધીજી સાથે વિનોદ પણ કર્યો અને વાર્તાલાપ પણ અને એ મુલાકાત પછી દલિત ઉધ્ધાર માટેની પ્રેરણા વધુ પ્રબળ બનવાનુ તેઓએ અનુભવ્યુ. તેઓની આ મુલાકાતની નોંધ ગાંધીજીના મિત્ર શ્રી મહાદેવભાઇની ડાયરીમાં પણ છે.