Han ble myrdet under eid al-adha i 1121. Ifølge Ibn al-Qalanisi «ble det antatt at batinere (Assassinersekten) var ansvarlig for mordet på ham, men denne påstanden er ikke sann. I stedet er det en tom unnskyldning og misforståelse uten basis i virkeligheten». Den reelle grunnen var den voksende modigheten til kalifen al-Amir Bi-Ahkamillah som hadde etterfulgt al-Mustali i 1101, og hans misnøye med al-Afdals kontroll. Ibn al-Qalanisi hevder at «alle øyne gråt og alle hjerter sørget for ham. Tiden produserte ikke noen lik ham etter ham, og etter tapet av ham mistet styret sitt gode rykte». Han ble etterfulgt som visir av al-Mamum.