નાનપણમાં પિતાની છત્રછાયા ગુમાવ્યા બાદ કારમી ગરીબાઈ વચ્ચે એમણે બંગાળ પોતાના જન્મસ્થળ એટલે કે બંગાળસ્થિત ચરૂલિયા ગામની એક મદરેસામાં ફરસી અને અરબીનું પ્રાથમિક શિક્ષણ લીધું હતું.