Da Hugo X ble gift med Isabella ble han greve av Angoulême i retten til sin hustru. Det oppfylte nettopp det som Johan hadde forsøkt å unngå da han giftet seg med henne. I de neste tjue årene var de i en maktfaktor i sørvestlige Frankrike. Paris og den franske kongen lå langt unna, noe som ga dem frihet til å hevde selvstendighet. De grunnla et kloster i Valence, og de fikk ni barn sammen, hvor de fleste overlevde barndommen. Antallet barn var ikke et vitnemål på et godt ekteskap. Hugo X var ikke trofast, og samværet var preget av bitter krangling og mange trusler om skilsmisse. Isabella hadde imidlertid en grad av personlig autoritet, og utstedte flere chartere i eget og i ektemannens navn.