ખાંડેકરનો જન્મ સાંગલીમાં 1898ના જાન્યુઆરી 11મીએ. એમનું કુટુંબ અસલ તો સાવંતવાડીનું. પિતાનું નામ આત્મારામ. ખાંડેકરનું મૂળ નામ ગણેશ. મૅટ્રિક સુધી તે સાંગલીમાં ભણ્યા. તેમને પુણેની ફરગ્યુસન કૉલેજમાં દાખલ કરવામાં આવ્યા. પણ સાવંતવાડીમાં એમના કાકા સખારામપંડિત ખાંડેકર રહેતા હતા. એમને દીકરો ન હતો. અને સાવંતવાડીનાં ઘર અને ખેતીવાડી સંભાળવા એમને કોઈકની જરૂર હતી. એટલે ગણેશ આત્મારામ ખાંડેકરને એમણે દત્તક લેવા એમ નક્કી થયું. સાંગલીના આત્મારામપંત ખાંડેકરને પણ ગણેશને દત્તક આપીને પોતાના ઉપરનો ભાર ઓછો કરવો હતો. તે ઈન્ટરમાં હતા ત્યાં જ દત્તવિધાન થયું અને ગણેશ આત્મારામ ખાંડેકર વિષ્ણુ સખારામ ખાંડેકર બન્યા. એમને ફરી પુણે આવીને શિક્ષણ પૂરું કરવાની ઈચ્છા હતી. પણ તે દત્તક અપાયા પછી સાંગલીવાળા જન્મદાતા પિતા એમના શિક્ષણની જવાબદારી લે નહીં, અને દત્તક લેનાર પિતાનું કહેવાનું એમ હતું કે ખાંડેકરે સાવંતવાડીમાં રહી ખેતીવાડી સંભાળવી. પરિણામે 1916-17માં શિક્ષણ અધૂરું મૂકીને ખાંડેકરને સાવંતવાડી આવી જવું પડ્યું. તે સમયે સાવંતવાડીમાં જંગલને લીધે મલેરિયાનો ફેલાવો મોટા પ્રમાણમાં હતો. ખાંડેકર પણ મલેરિયામાં સપડાયા અને તેમની તબિયત બગડી. સાવંતવાડીમાં રહેવાનું અશક્ય બન્યું. સાથે સાથે, ત્યાંની જમીનદારીમાં એમનું ધ્યાન હતું નહીં. જમીનદારી એટલે ખેડૂતો ધરતી ખૂંદી મહેનત કરે, ને પૈસા વસૂલ કરી જાય જમીનદારો. એ ખાંડેકરને ગમે નહીં.