I 1967 ble Karmal lederen for den mer moderate Parcham-fraksjonen da partiet ble splittet. Partiet ble samlet igjen i 1977 og tok kontroll i Afghanistan i april 1978. Karmal var visestatsminister, men etter at den rivaliserende Khalq-fraksjonen fikk mer makt, ble han sendt til Praha som ambassadør.