Hennes far var guvernør på hjemstedet og hennes yngre bror, Gilles Pisier, er en anerkjent matematiker og medlem av franske vitenskapsakademiet. Hennes søster, Evelyne, var den første kona til den franske politikeren Bernard Kouchner. Pisier flyttet til Paris sammen med sin familie i en alder av tolv år og begynte å opptre i en rekke franske filmer bare fem år senere.