Il n'a que trois ans lorsque son père est tué à la Bataille de la Marne, le début de la Première Guerre mondiale. Patrice grandit avec sa sœur et son frère aîné, entre Paris et le Bignon-Mirabeau dans le Gâtinais, élevé par sa mère et sa grand-mère.