1967 brach die DVPA in zwei Fraktionen, die Chalq-Fraktion und die Parcham-Fraktion, auseinander. Karmal wurde Vorsitzender der gemäßigten Parcham-Fraktion. Gegen den Widerstand Karmals wurde die Partei 1977 wieder vereinigt. Nach einem Staatsstreich am 27. April 1978 stieg die DVPA unter der Führung von Taraki zur Regierungspartei auf. Karmal wurde zum stellvertretenden Premierminister ernannt. Als die Chalq-Fraktion innerparteiliche Machtkämpfe für sich entscheiden konnte, wurden alle Parcham-Mitglieder im Juli 1978 aus der Regierung des Landes entlassen, Karmal wurde als Botschafter nach Prag entsandt. Im August 1978 wurde er zusammen mit fünf weiteren Parcham-Mitgliedern wegen Hochverrats aus der DVPA ausgeschlossen und nach Afghanistan zurückbeordert. Dieser Anweisung widersetzte er sich. Im September 1978 wurde Karmal aus Sicherheitsgründen von der tschechoslowakischen Staatssicherheit StB in der Ortschaft Šindelová untergebracht.