Albert Breton var femte barn i en from bondefamilie. Da han tidlig kjente et kall, gikk han i en alder av ti år inn på mindreseminaret i Maquetra nær Boulogne-sur-Mer. Senere begynte han på hovedseminaret i Arras i 1899, men fortsatte fra 10. september 1901 på La Société des Missions Etrangères (M.E.P.)-seminaret i Paris, på en tid da det antiklerikale klima i Den tredje republikk var påtagelig.