Khatib var nasjonal formann for ungdomsdelen av Chama cha Mapinduzi (CCM) fra 1978 til 1983 og var medlem av CCMs nasjonale eksekutivråd fra 1978 til 2002. Han virket som ved statsministerens kontor med ansvar for informasjon, kultur og sport fra 4. januar 2006. Deretter vle han minister ved visepresidentens kontor for den 12. februar 2008.