À la suite du coup d'État communiste de 1978, Ahmadzai est retourné en Afghanistan pour rejoindre les moudjahidines . Il était un proche collaborateur de Burhanuddin Rabbani, étant député de son parti Jamiat-e Islami, mais a ensuite quitté et rejoint le parti de l'Organisation islamique Dawah d'Afghanistan d' Abdul Rasul Sayyaf en 1992, l'année de la fin du régime communiste. Il a servi comme ministre dans le gouvernement afghan post-communiste, diversement comme ministre de l'Intérieur, de la Construction et de l'Éducation, et est devenu plus tard Premier ministre entre 1995 et 1996, bien qu'il ait minimisé l'importance de ces postes étant donné le chaos dû aux combats à ce moment-là.