Rabbani var fremdeles anerkjent som leder av Afghanistan av FN og de fleste land i løpet av Taliban-regimet. Da den amerikansk-ledede koalisjonen fjernet Taliban i 2001, gjenerobret Rabbani hovedstaden og erklærte seg som Afghanistans legitime leder. Han ga makten formelt over til et interimsstyre ledet av Hamid Karzai 22. desember 2001. I 2004 var han tilstede da president Hamid Karzai formelt ble innsatt som Afghanistans presodemt og han satt som leder for partiet Afghanistans nasjonale front.