शुरूआत में जब बाबर अली ने बच्चों को पढ़ाने का काम शुरू किया तो गांव वालों ने उनका विरोध किया, क्योंकि वो ये मानने को तैयार नहीं थे कि एक छोटा बच्चा दूसरे बच्चों को पढ़ाने का काम कर सकता है। पिछड़ा इलाका होने के कारण यहां के ज्यादातर लोग अशिक्षित थे इसलिए इन लोगों का आरोप था कि बाबर अली दूसरे बच्चों को धार्मिक शिक्षा की जगह मॉर्डन शिक्षा दे रहे हैं, जो कि उनकी नजर में गलत बात थी। इसलिए वो बाबर अली की इस कोशिश को पटरी से उतारने के लिए कई षड़यंत्र तक रचने लगे। इसके लिए गांव के लोग बाबर अली के पास पढ़ने आने वाले बच्चों के माता पिता पर दबाव बनाते कि वो अपने बच्चों को उनके पास पढ़ने के लिए ना भेजें। इसके अलावा उनको आर्थिक दिक्कतों का भी सामना करना पड़ा। बावजूद इतनी चुनौतियों के बाद भी बाबर अली अपने मकसद में जुटे रहे हैं और धीरे धीरे उनके यहां पढ़ने के लिए आने वाले बच्चों की संख्या बढ़ती गई।