Al-Mahdi ble født i landsbyen Hamimah. Moren var kalt Arwi, faren var al-Mansur. Da al-Mahdi var ti år gammel, ble faren den andre abbaside-kalif. Under al-Mahdis unge år begynte kalif al-Mansur å tilrettelegge for at al-Mahdi fikk utviklet sine styringsevner og kunne bli ansett som skikket som leder. Han gav al-Mahdi i oppdrag å ha tilsyn med byggingen av en morske og et kongelig palass på Tigris' østre bredd, i det østlige Bagdad.