બાબા સાહેબનો પરિવાર એક ટીપીકલ સૈનિક પરિવાર હતો. તેમના નાના અને છ કાકાઓ બધાજ સેનામાં સુબેદાર મેજર (બ્રિટીશ સેના માં સર્વોચ્ચ ભારતીય રેન્ક) નાં પદ પર હતા. બાબા સાહેબનાં પિતાશ્રી પણ સુબેદાર મેજર હોવાની સાથે સાથે, સેનાની ખાસ શિક્ષક તાલીમ સ્કુલમાં તાલીમ પ્રાપ્ત, પૂર્ણ સમયનાં શિક્ષક પણ હતા. ચૌદ વર્ષ સુધી રામજી સકપાલ મીલીટરી સ્કુલનાં હેડમાસ્તર પડે રહ્યા.