Le sorti cambiarono nel 1356 quando Giovanni venne catturato dagli inglesi a seguito della sconfitta alla Battaglia di Poitiers, Giovanna di Bar, privata del sostegno del sovrano, perse la reggenza lasciando di nuovo campo libero a Yolanda e Filippo; la reggenza di Filippo, però non era stata ben accetta dal cugino Enrico di Bar, signore di Pierrefort, che mise in prigione Filippo e obbligò Yolanda a rinunciare definitivamente alla reggenza, in quello stesso anno; una lettera, del 1357, di Roberto conferma che Enrico di Bar ha relegato la madre al castello di Bourmont.