Louis-Joseph nació en la residencia familiar de Chateau de Candiac en Montcalm, cerca de Nimes, al sur de Francia.