Da umayyadenes dynasti ble styrtet i øst av abbasidene var Abd ar-Rahman bare tyve år gammel. Sammen med sin bror Yahya flyktet han til beduinene i ørkenen, men abbasidene jaktet skånselsløst på sine fiender og myrdet Yahya. Abd ar-Rahman klarte igjen å flykte – først til Syria og senere, slik som alle som forsøkte å komme seg utenfor rekkevidde fra abbasidene, til Nord-Afrika.