Han var imidlertid også en motspiller mot abbaside-kalifene, som på den tid forsøkte å befeste sin makt i Irak. Han gikk i 1132 til angrep på kalif al-Mustarsjid og hans forbundsfeller, seldsjukkprinsen Seldsjuk ibn Muhammad. Han ble beseiret men klarte å komme seg unna, ettersom Nadsjm ad-Din Ayyub (far til Saladin) rettet hans liv ved Tikrit. I juni 1132 angrep han sammen med mazyadideherskeren Dubais II atter Bagdad, men ble nok en gang beseiret. Året etter, i 1133, dukket al-Mustarsjid opp for Mosuls porter med en mektig hær (blant uannet med kurdiske emirer), men Zengi kom seg unna, og ette rå ha bedrevet småkrig i tre måneder drev han sine fiender til tilbaketog.