Etter Saur-revolusjonen i 1978 returnerte han til Afghanistan for å kjempe mot den pro-sovjetiske regjeringen og, mellom 1979 og 1989, de sovjetiske styrkene. Rabbanis gruppe, Jamiat-e Islami, var en av de største mujahedin-fraksjonene. Etter at mujahedin nedkjempet den pro-sovjetiske Najibullah-regjeringen i 1992 ble han utnevnt til president av Afghanistans Islamske Råd (og dermed leder av landet). Men det brøt raskt ut borgerkrig igjen mellom forskjellige fraksjoner av , og Kabul ble erobret av Taliban i 1996.