Μετά το κομμουνιστικό πραξικόπημα το 1978, ο Αχμαντζάι επέστρεψε στο Αφγανιστάν για να ενταχθεί στους μουτζαχεντίν. Ήταν στενός συνεργάτης του Μπουρχανουντίν Ραμπανί, όντας αναπληρωτής του στο κόμμα του Τζαμιάτ-ε Ισλαμί, αλλά στη συνέχεια αποχώρησε και προσχώρησε στην Οργάνωση Ισλαμικού Νταβά του Αφγανιστάν του Αμπντούλ Ρασούλ Σαγιάφ το 1992, όταν και έληξε η κομμουνιστική διακυβέρνηση. Διετέλεσε υπουργός της μετακομμουνιστικής κυβέρνησης του Αφγανιστάν, στις θέσεις του υπουργού εσωτερικών, κατασκευών και παιδείας, και αργότερα έγινε πρωθυπουργός μεταξύ 1995 και 1996, αν και οι θέσεις αυτές είχαν μικρότερη ισχύ δεδομένου του χάους που προκλήθηκε από την εμπόλεμη κατάσταση της εποχής.