Jabarkan Pendidikan dari Ali Alwi

Pendidikan agama perdana didapat dari ayahnya, Habib Ali bin Husein bin Thohir. Setelah usia empat tahun dia kemudian merantau ke Jakarta dan tinggal bersama pamannya, Habib Yahya bin Husein bin Thohir di Angke, Tambora, Jakarta Barat selama satu tahun, setelah itu pindah ke rumah kakak perempuannya di Kapuk, Cengkareng, Jakarta Barat. Habib Ali bersekolah pertama kali di Madrasah Al-Mansyuriyah Jembatan Lima, Tambora, Jakarta Barat, asuhan Muhammad Mansur. Setelah satu tahun di Al-Mansyuriyah, dia kemudian melanjutkan sekolahnya di Madrasah Ibtidaiyah Al-Ittihad yang hanya ditempuh selama 4 tahun karena mengikuti kelas akselerasi.

Setelah lulus dari madrasah ibtidaiyah pada tahun 1980, ia melanjutkan pendidikannya di Pondok Pesantren Tebu Ireng, Jombang pada jenjang madrasah tsanawiyah dan madrasah aliyah hingga lulus pada tahun 1986. Di Tebu Ireng itulah ia memulai aktivitas keorganisasiannya, seperti menjadi ketua OSIS, wakil ketua Pelajar Islam Indonesia Tebu Ireng, hingga menjadi juru kampanye Partai Persatuan Pembangunan pada tahun 1981.

Setelah 6 tahun menjadi santri di Tebu Ireng, Ia melanjutkan kuliah di IAIN Syarif Hidayatullah (sekarang Universitas Islam Negeri Syarif Hidayatullah Jakarta) jurusan Perbandingan Agama fakultas Ushuluddin, sambil mendalami kitab-kitab kuning kepada Habib Muhsin Al Attas Petamburan dan Kiai Haji Muhammad Syafi'i Hadzami. Dia lulus di IAIN Syarif Hidayatullah Jakarta pada tahun 1991.