Bare fire år etter at han gikk inn i Isfahan og kort tid før høytiden nowruz, ble Mardavij i 935 myrdet av sine tyrkiske slaver, Tuzun og Bajkam som flyktet til Bagdad. Etter mordet på ham, tok familien Buwayhid, kommandanter i Mardavijs tjeneste, over hans landområder i det sentrale og sørlige Iran, mens Mardavijs bror Vushmgir etterfulgte ham i det nordlige Iran.