Som Vichy-regeringens generalguvernør på Madagaskar fra 1941 til 1942 var Annet involveret i Slaget om Madagaskar. Han startede den 5. maj 1942 med at forsvare øen med omkring 8.000 soldater. Den 5. november 1942 overgav Annet sine sidste styrker ved Ilhosy på den sydlige del af øen.