Rabbani fue uno de los líderes de la yihad contra el gobierno surgido de la Revolución de Saur en 1978 y, posteriormente, contra las tropas soviéticas que apoyaban al gobierno —guerra de 1978-1992—.