Pierre d'Arrabloy var sønn av Jehan II d'Arrabloy (skrives også Jean II d'Arrabloy), som var en fransk adelsmann som var av Arrabloy i Loiredalen og seneskalk av Périgord et Quercy mens Filip IV av Frankrike regjerte. Jehan var en av den franske kongens nærmeste allierte, men passet også på å knytte forbindelser med greven av Poitou, en mektig mann som senere ble konge under navnet Filip V. I 1315 gjorde den franske kongen Jehan II til kansler som belønning for utviste tjenester; året etter ga Jehan tittelen videre til sin sønn Pierre.