Hans tidligere hustru, Eleanor, ble sittende med skammen for å være anklaget for utroskap, foruten at han beholdt de eiendommer som hun hadde ført inn i ekteskapet, og appellerte til pave Alexander II som satte i gang en undersøkelse. Denne resulterte i at ekteskapet mellom Anna og Raoul ble erklært ugyldig grunnet bigami og Raoul IV ble ekskommunisert (bannlyst) i mars 1062. Det er ingenting som tyder på at Anna ble inkludert i ekskommunikasjonen, men det synes som om hennes fiender ved hoffet klarte å benytte skandalen til å få den unge kongen til å bli misfornøyd med sin mor og hennes nye ektemann. Ved begynnelsen av 1065, antagelig tidligere, var hun tilsynelatende ikke lenger ved hoffet. Ved dette året var Filip tretten år, tradisjonelt den alder hvor en konge av Frankrike ble betraktet som voksen nok til å styre i egne kraft. Hennes regentskap kan således ha vært avsluttet dette året uavhengig av hennes problematiske andre ekteskap. I løpet av 1065 var hun tilbake ved hoffet, men formelt ble hun fortsatt anerkjent som medregent med grev Boudewijn V. Raoul IV ble heller ikke forvist fra hoffet, til tross for hans ekskommunikasjon, og han deltok i kongens kriger i tidsrommet 1065 og 1072.