Filip var en meget stilig og elskverdig mann, men også notorisk utro, og han hadde en rekke kjærlighetsaffærer med hoffdamene. Historien forteller at den meget sjalu Johanna avslørte ham i sengen sammen med en av hoffdamene, og beordret at hennes hår ble klippet av, og lot siden bare eldre og stygge kvinner tjenestegjøre ved hoffet. Filip skal ha blitt så rasende over Johannas tiltak at han for en tid bannlyste henne fra ektesengen.