लेकिन, आईटीआई में भी अय्यप्पा को गरीबी की मार झेलनी पड़ी थी। उन दिनों रिकार्ड बुक और दूसरी ज़रूरी किताबें खरीदने के लिए भी उनके पास 40 रूपए तक नहीं थे। कॉलेज के 180 विद्यार्थियों में से अय्यप्पा को छोड़ सभी ने किताबें और रिकार्ड बुक्स खरीब ली थीं। जब ये बात तिमप्पा मास्टर को पता चली तो उन्होंने इसकी जानकारी हीरेमट मास्टर को दी। हीरेमट मास्टर को लगा कि अय्यप्पा ने उनके पिता के भेजे हुए रुपये खर्च कर दिए हैं और इसी वजह से उनके पास किताबें खरीदने को रुपये नहीं हैं। लेकिन, या बात सच नहीं थी। पिता ने अय्यप्पा को रुपये दिए ही नहीं थे। गलतफहमी का शिकार हीरेमट मास्टर ने अय्यप्पा को अपने पास बुलाया तो कसकर गाल पर चांटा जड़ दिया और पूछा कि पिता के भिजवाये रुपयों को कहाँ खर्च कर दिया। सवाल के जवाब में जब अय्यप्पा ने सच्चाई बताई तो हीरेमट मास्टर को बहुत पछतावा हुआ और वो रो बैठे। इसके बाद हीरेमट मास्टर ने अय्यप्पा को किताबें खरीदने के लिए अपनी जेब से रुपये दिए । अय्यप्पा कहते हैं, “किसी टीचर के हाथों ये मेरी तीसरी मार थी। बस मैंने तीन बार भी अपने टीचरों से मार खाई थी। हीरेमट मास्टर ने आगे भी मेरा बहुत ख्याल रखा था।”