Årene 1892-96 var han divisjonssjef i Fransk Indokina. Han ble kjent for sin harde og ofte nådeløse kamp mot kinesiske pirater, og klarte dermed å etablere en viss stabilitet der. I 1894 grep han med fremgang inn mot den nasjonalistiske lederen Đề Thám, men hans ønske om oppfølgende militær innsats ble nektet av koloniadministrasjonen som heller gav Đề Thám et eget lokalt herskapsområde. I Indokina støttet han seg ofte på tropper fra Fremmedlegionen, dessuten samarbeidet han der for første gang med Louis Hubert Gonzalve Lyautey. Deretter ble han guvernør på Madagaskar til 1905. Gallieni er beryktet på Madagaskar som den som sendte dronning Ranavalona III i eksil og avskaffet det 350 år gamle monarkiet på øya.