Setelah kematian Harun di Khurasan pada awal 809, Abdullah tetap tinggal di provinsi itu, bergabung dengan pewaris kedua Harun, al-Ma'mun (memerintah 813-833), di Marw. Dalam perang saudara selanjutnya antara al-Ma'mun dan saudara tirinya, Khalifah al-Amin (memerintah 809–813), ia kebanyakan tetap berada di Marw. Dia adalah salah satu dari beberapa pemimpin militer yang menolak untuk menjadi pemimpin dalam pemerintahan al-Ma'mun, jabatan itu akhirnya jatuh ke Fadl bin Sahl. Hubungannya dengan al-Ma'mun menjadi tegang, tapi dia tetap menemaninya ke barat dan bersamanya ketika dia memasuki Baghdad pada 819.