Peter Faber var fra en bondefamilie i landsbyen Le Villaret i hertugdømmet Savoia (nå Saint-Jean-de-Sixt det franske departement Haute-Savoie). Som gutt var han gjeter i høye gressganger opp i de franske Alpene. Han hadde lite utdannelse, men en bemerkelsesverdig hukommelse; han kunne høre en preken om morgenen og gjenta den ordrett for sine venner om ettermiddagen. To av hans onkler var prioer er karteuserordenen.