শরাফী যখন দশম শ্রেণির শিক্ষার্থী, তখন নেতাজী সুভাষ চন্দ্র বসু কলকাতায় অবস্থিত হলওয়েল মনুমেন্ট অপসারণের আন্দোলন শুরু করেন। কিশোর কলিম শরাফী সে আন্দোলনে জড়িয়ে পড়েন। এ সময় স্কুলের এক মিছিলের নেতৃত্ব দিতে গিয়ে পুলিশের হাতে তিনি নির্যাতিত হন। এরপর ১৯৪২ সালে তিনি ম্যাট্রিক পাস করেন। পরীক্ষার পরই তিনি গান্ধীর ভারত ছাড় আন্দোলনে যুক্ত হন। ১৯৪২ সালে এ আন্দোলনের সময় নিজ এলাকায় এক সভায় সভাপতিত্ব করার কয়েক দিন পর ডিফেন্স অব ইন্ডিয়া অ্যাক্টের আওতায় তাঁকে গ্রেপ্তার করে জেলে পাঠানো হয়। কারাগারেই আন্দোলনকর্মী বিভিন্ন শিল্পীর সঙ্গে পরিচয় হয় তাঁর। মুক্তি পাওয়ার পর তিনি বীরভূম জেলা ছাত্র ফেডারেশনের সেক্রেটারির দায়িত্ব নেন। পঞ্চাশের মন্বন্তর হিসেবে পরিচিত দুর্ভিক্ষের সময় লঙ্গরখানায় কাজ করার সময় তিনি কমিউনিস্ট নেতা কমরেড মুজাফফর আহমেদের সংস্পর্শে আসেন, যোগ দেন কমিউনিস্ট পার্টিতে।