शेरू की ज़िंदगी जितनी संघर्षपूर्ण रही, उतनी ही दिलचस्प भी। खंडवा के गरीब परिवार में जन्में शेरू का एक बड़ा भाई और एक बहन भी थी। उसके पिता मौसीन खान मज़दूरी करते थे और मां फ़ातिमा बी घरों में नौकरानी का काम करती थी। शेरू और उसका बड़ा भाई गुड्डू ट्रेन में भीख मांगकर गुज़ारा करते थे। एक बार ट्रेन में भीख मांगने के दौरान शेरू का बड़ा भाई गुड्डू आगे निकल गया और शेरू को ट्रेन में ही नींद लग गई और वो कोलकाता जा पहुंचा।