Harun var sønn av den tredje abbasidiske kalif, Muhammad ibn Mansur al-Mahdi, og en jemenittisk slavinne. Hans mor fikk stor innflytelse i statsstyret og påvirket Harun sterkt.