ભાનુભાઈના જન્મ પહેલાં જ તેમના પિતા દયાશંકરભાઈનો સ્વર્ગવાસ થયો હતો. જન્મ બાદ માતા પાનકુંવરબહેન અને દાદા રૂગનાથભાઈએ ભાનુભાઈનો ઉછેર કર્યો. તેઓ પ્રાથમિક શાળામાં હતા ત્યારે જ તેમની બંને આંખમાં માઈનસ ૧૨ નંબર હતા.