В декабре 1953 года Самба Сангаре оставил гражданскую должность и поступил на службу во французскую колониальную армию. Он прошёл курс начальной подготовки на военной базе в Сегу, где среди его сослуживцев были будущие руководители переворота 1968 года Мамаду Саного и Киссима Дукара, ставший затем министром обороны. После окончания учёбы Сангаре служил в 1-м взводе в Бамако, а в 1955 году был направлен для прохождения службы во 2-й взвод батальона связи в Тьеруа (Сенегал). В декабре 1956 года он получил звание сержанта, был переведён на базу в Кати, служил в Куликоро, а в 1958 году был отправлен на войну в Алжире, где за участие в боевых действиях получил французскую Памятную медаль Северной Африки. В 1960 году, когда получила независимость Федерация Мали, сержант Сангаре был одним из первых включён в списки национальной армии и летом того же года в составе малийского контингента сил ООН отправился на полгода в Конго (Леопольдвиль), где у власти находилось правительство Патриса Лумумбы. Здесь за участие в миротворческих операциях он был награждён Медалью мира ООН. Самба Сангаре вернулся в Мали в ноябре 1960 года, после распада Федерации, и в 1961 году продолжил службу в батальоне в г. Каес. Сангаре вспоминал: