Après l'indépendance, il est nommé ambassadeur d'Algérie dans plusieurs pays. En 1990, il devient secrétaire général de l'Organisation nationale des Moudjahidines (combattants algériens durant la guerre d'Algérie). Le , après la destitution du président Chadli Bendjedid, l'armée met en place un Haut comité d'État (HCE), organe provisoire de la gestion de l'État, et Ali Kafi en est nommé membre. En pleine « décennie noire », le , il succède à Mohamed Boudiaf, assassiné, à la présidence du HCE. Devenant de plus en plus entreprenant, il entame notamment sans concertation un dialogue avec les partis politiques, une conférence du HCE décide alors de le remplacer. Il remet ses pouvoirs de chef de l'État à Liamine Zéroual le . Ali Kafi publie ses mémoires en 2002 dans un ouvrage intitulé "Du militant politique au dirigeant militaire" où il revient notamment sur de nombreuses zones d'ombres de la « révolution algérienne », ouvrage pour lequel il sera lourdement critiqué notamment pour ses révélations, jugées offensantes, entre autres sur Abane Ramdane.