Rebecque var sønn av François Marie Samuël de Constant d'Hermenches, seigneur d'Hermenches (1729-1800) og hans andre ektefelle, Louise Cathérine Gallatin (1736-1814). Hans far var, som farfaren Samuel Constant de Rebecque (1676-1782), sveitsisk offiser i tjeneste for De forente Nederlandene. En av hans nevøer (ikke bror som det noen ganger feilaktig har blitt hevdet) var Benjamin Constant. Jean Victor de Constant Rebecque giftet seg med Isabella Catharina Anna Jacoba baronesse van Lynden (1768-1836) i Braunschweig den 29. april 1798.