Conté studerte ved militære skoler i Elfenbenskysten og Senegal, som da var en del av Fransk Vest-Afrika. I 1955 vervet han seg til den franske hæren. I 1957 var han stasjonert i Algerie under Algeriekrigen. Etterpå vendte han tilbake til Guinea, som 2. oktober 1958 fikk sin uavhengighet fra Frankrike, og der ble han med i den nye guineanske hæren med rangen sersjant. Han steg i gradene til han ble assisterende stabssjef for hæren i 1975.