Victor Valois' Urgroßvater war ein aus Orléans stammender Franzose, der während des Siebenjährigen Krieges unter falschen Vorgaben in die Schweiz gelockt und dort von Werbern in den österreichischen Militärdienst gepresst wurde. In der Schlacht bei Liegnitz geriet er 1760 in preußische Gefangenschaft, trat in die preußische Armee ein und ließ sich nach dem Krieg in Preußisch Holland in Ostpreußen nieder.