Etter Saur-revolusjonen i 1978 returnerte han til Afghanistan for å kjempe mot den pro-sovjetiske regjeringen og, mellom 1979 og 1989, de sovjetiske styrkene. Rabbanis gruppe, Jamiat-e Islami, var en av de største mujahedin-fraksjonene. Etter at mujahedin nedkjempet den pro-sovjetiske Najibullah-regjeringen i 1992 ble han utnevnt til president av Afghanistans Islamske Råd (og dermed leder av landet). Men det brøt raskt ut borgerkrig igjen mellom forskjellige fraksjoner av "mujahedin", og Kabul ble erobret av Taliban i 1996.