Septembra 1976 je bil aretiran v beograjskem hotelu Metropol na podlagi tiralice, ki jo je izdala Nemčija zaradi suma, da prav on stoji za umorom izraelskih športnikov na olimpijskih igrah leta 1972 v Münchnu. Toda do izročitve Nemčiji ni prišlo, saj je Carlos že po 4 dneh zapustil Jugoslavijo in odšel v Bagdad. To mu je omogočila jugoslovanska Služba državne varnosti, ki mu je priskrbela lažno identiteto in dokumente jugoslovanskega gradbenega delavca, napotenega na delo v Irak. Takratna Jugoslavija je namreč bila naklonjena Šakalu zaradi podpore bližnjevzhodnih in afriških osvobodilnih gibanj kljub temu, da so ga zaradi terorističnih dejanj iskala pravosodja številnih evropskih držav.