કાસમભાઇ ખફી 2000 થી 2005 સુધી તાલુકા પંચાયતના  રહી ચૂકયા છે, ત્રણ વર્ષ તાલુકા પંચાયતની કારોબારી સમિતિના અઘ્યક્ષ રહ્યા છે, 3 વર્ષ સુધી જામનગર જિલ્લા કોંગ્રેસ સમિતિના મંત્રી તરીકે સેવા આપી છે અને સૌથી મહત્વની વાત 2004 થી 2014 સુધી એટલે કે એક દાયકા જેવા લાંબા કાર્યકાળ દરમ્યાન એમણે તાલુકા કોંગ્રેસ સમિતિના પ્રમુખ તરીકે કામગીરી કરી છે,  નોંધનીય છે કે, તાલુકા કોંગ્રેસ સમિતિનો મુખ્ય વિસ્તાર 77-જામનગર ગ્રામ્યની બેઠક છે, એટલે સીધી વાત છે કે, આ બેઠક પર વર્ષોથી ગામેગામ અને ગલી-ગલીના લોકોથી તેઓ પરીચીત છે અને એમના માટે કાસમ ખફી ખુબ જાણીતું નામ છે, આ કાર્યકાળ દરમ્યાન એમણે ખેડૂતોના પ્રશ્ર્ને અનેક આંદોલન કરી કોંગીને મજબુત બનાવી