Hun ble født inn i en politisk aktiv familie i den sentrale høylandsbyen Antananarivo. Faren hennes var underoffiser i den franske hæren, så i Gisèles barndom flyttet familien flere ganger, dit han ble beordret –  i Frankrike, Tunisia og Mali. Da faren døde i 1942, flyttet familien tilbake til Madagaskar.