Isidore de Souza kom fra den aristokratiske de Souza-familien, en prominent beninesisk klan. Dens grunnlegger, Francisco Felix de Sousa (1754–1849), var den brasilianskfødte visekongen av Ouidah i kongedømmet Dahomey. Han var kommet fra Bahia og slo seg opp som slavehandler – kjøpte slaver lokalt og solgte dem til sjøfarende handelsmenn som ankom Ajudá, et portugisisk kystfort (opphavet til byen og navnet Ouidah).