En calidad de tal, al-Qasim encabezó una incursión en Asia Menor en julio-agosto del 803. Asedió la estratégica fortaleza de Koron, mientras su lugarteniente al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath hacía lo propio con otra que los árabes llamaban Sinán. Los bizantinos le propusieron liberar a trescientos veinte cautivos musulmanes si levantaba el cerco, y al-Qasim se avino a ello. En febrero del 808, cuando al-Rashid abandonó su residencia en Raqqa para emprender su segunda expedición al Jorasán, dejó a al-Qasim a cargo de la ciudad y a Juzayma ibn Jazim para que le aconsejase. Tras el fallecimiento del califa y el advenimiento de al-Amin en el 809, el nuevo soberano confirmó a al-Qasim en sus funciones de gobernador de "al-'Awasim" y jefe del "Yund Qinnasrin", pero se le quitó la autoridad sobre la Alta Mesopotamia (Yazira), que pasó a Juzayma ibn Jazim. Finalmente, en el 810, el califa privó a al-Qasim de todos sus cargos, que entregó a Ibn Jazim, y lo trajo a Bagdad para que viviese bajo estrecha vigilancia. Al-Amin poco después retiró su nombre y el de Abdallah al-Ma'mun de las plegarias; este último se había rebelado contra el califa en el Jorasán. La subsiguiente Cuarta Fitna concluyó con la victoria de al-Ma'mun y la derrota y muerte de al-Amin, en el 813. Inmediatamente después de terminada la guerra civil entre los dos hermanos, el vencedor eliminó a al-Qasim de la lista de sucesión.