Bratr Antonia Francesco Barberini se přidal na španělskou stranu a konkláve tak bylo rozděleno, a právě to vyústilo ve zvolení kandidáta rodiny Pamphili. Konečná dohoda zahrnovala příslib budoucí vstřícnosti papeže a slib, že bude dbát na prospěch rodiny Barberini, dohlédne na to aby si udrželi své tituly, území i majetek, který nashromáždili během pontifikátu Urbana VIII. Mazarina výsledek konkláve tak naštval, že Antonia připravil o funkci protektora Francouzského království. Konflikt však trval krátce a oba kardinálové se rychle smířili. Z neznámých důvodů papež Inocenc X. dohodu vypověděl a Antonio, Taddeo a jeho bratr byli obviněni z finančních machinací během války v Castru. Antonio a Taddeo odešli v roce 1645 do exilu v Paříži, kde byli pod ochranou kardinála Mazarina a o rok později se k nim připojil i Francesco. Antonio si před odchodem do exilu na dveře svého domu připevnil znak francouzského krále jako varování svým politickým soupeřům, že je nyní chráněn francouzským králem.