Den 12. desember 1898 brøt Koldewey opp ved Eufrat, den 26. mars 1899 begynte utgravningene av Babylon. Koldeweys arbeider ved Eufrat, opprinnelig påtenkt å pågå i bare fem år, skulle vedvare helt til 1917, og da ble de avsluttet bare på grunn av den britiske innmarsjen i Bagdad under første verdenskrig. I løpet av de 18 årene i landet ledet han også fra 1903 blant annet utgravninger i Assur, Fara (Shuruppak), Abu Hatab og Uruk, bare avbrutt av tre relativt korte ferieopphold i Tyskland i 1904, 1910 og 1915.