અત્યંત ગરીબ બ્રાહ્મણ પરિવારમાં જન્મ થયો હોવાને કારણે વિશ્વેશ્વરૈયાનું બાળપણ તે સમયના કરોડો સામાન્ય ભારતીય નાગરીકોની જેમ અભાવોમાં વીતેલું.