Den nyinnsatte paven Innocens 3. erklærte Filips ekteskap med Agnes for ugyldig, ettersom Filip fortsatt var gift med Ingeborg. I 1199 konkluderte Innocens med at Frankrikes konge faktisk levde i bigami og hor, og Frankrike ble fra januar 1200 underlagt interdikt, slik at alle kirkelige handlinger unntatt barnedåp og døendes skriftemål ble suspendert. I september 1200 lot kong Filip da som om han tok Ingeborg tilbake, og interdiktet ble opphevet, men han fortsatte å presse henne hardt for å gå med på skilsmisse. Paven erklærte i 1201 kong Filips barn i tredje ekteskap for å være «ektefødt». I 1202 kom Ingeborgs andre bror, Valdemar Seier, på tronen, og han klaget jevnlig sin søsters vanskelige situasjon inn for pavestolen, som hver gang responderte med nye pavebuller til Filip om å ta henne tilbake. Fra 1207 fikk Ingeborg mildere behandlet, men hun var fortsatt innesperret. Først i 1213 tok Filip henne tilbake som fransk dronning. Nå var endelig arvefølgen sikret, ettersom Filips ektefødte sønn selv hadde fått en sønn. Dessuten planla Filip nok en gang å gå til krig mot England og trengte da et bedre forhold til pavestolen og vel også Ingeborgs tvilsomme arverett til den engelske krone.