I Indonesia engasjerte han seg i organisasjonen Nahdlatul Ulama (NU), en islamsk organisasjon med over 30 millioner medlemmer, stiftet av Abdurrahman Wahids bestefar. Han ble leder i NU i 1984. I april 1991 grunnla han partiet Demokratiforum, i opposisjon til president Suharto. I juli 1998 grunnla han Partiet for nasjonal vekkelse (PKB), som ble det tredje største partiet under parlamentsvalget i 1999.