Pierre Magne wurde auf dem Bauernhof seiner Eltern in Livry-Gargan geboren, von wo aus der Vater Milch nach Paris lieferte, u. a. an die Molkerei "Vacherie de l'Espérance" der Familie Pélissier, deren drei Söhne ebenfalls erfolgreiche Radrennfahrer und Konkurrenten von Pierre Magne wurden. Auch sein älterer Bruder Antonin war Radrennfahrer, der 1936 Weltmeister wurde und 1931 sowie 1934 die Tour de France gewann.