1848年、二月革命の年にパリに生まれた。父クローヴィスは共和主義者のジャーナリストであった。母アリーヌ・マリア・シャザルの母（祖母）は、初期社会主義の主唱者でペルー人の父を持つフローラ・トリスタンであった。1851年、ナポレオン3世のクーデターで、共和主義者であったクローヴィスは職を失い、一家はパリを離れてペルーに向かった。しかし、クローヴィスは航海中に急死した。残されたポールとその母と姉は、リマでポールの叔父を頼って4年間を過ごした。アリーヌはペルーにてインカ帝国の陶芸品を好んで収集していた。