La vida familiar de Oliet se ve gravemente afectada al fallecer su esposa el 2 de marzo de 1804 con menos de 30 años, dejándole con tres hijos de corta edad.