Paul-Maries far, Jules-Marie Richaud, som døde 85 år gammel den 11. februar 1933, var visepresident for . Paul Richaud hadder en søster, Jeanne Richaud, som ble dominikanerinne med ordensnavnet søster . Han hadde også to prestenevøer, sønner av Albert, hans eldste bror, som var advokat i Orléans.