Koné kävi koulunsa Katissa ja Saint-Louisissa ja liittyi vapaaehtoisena Ranskan siirtomaa-armeijaan. Hän osallistui toiseen maailmansotaan sekä Indokiinan ja Algerian sotiin ja opiskeli 1950-luvun lopulla Fréjusin ja Melunin sotakouluissa. Koné palveli sen jälkeen Ranskan Sudanin santarmilaitoksessa, josta tuli vuonna 1960 hänen komentamansa Malin liittovaltion tasavaltalaiskaarti. Liittovaltion hajottua ja Malin tasavallan itsenäistyessä tasavaltalaiskaarti erotettiin santarmilaitoksesta, ja sen komentajaksi tuli Boubacar Traoré. Koné komensi santarmeja vuoden 1968 vallankaappaukseen saakka.