Isidore var onkelen til Chantal Yayi, som fungerte som førstedame i Benin fra 2006 til 2016, og Marcel Alain de Souza (1953–2019), en bankmann og tidligere president for ECOWAS-kommisjonen.