Peter giftet seg først med Agnes I, grevinne av Nevers, og ble dermed greve av Nevers. Han giftet seg på nytt med Yolanda av Flandern, en søster til keiserne Balduin I av Konstantinopel og Henrik av Flandern. De var begge grever av Flandern og keisere i Det latinske riket i Konstantinopel.