Armstrong posteriormente foi promovido a tenente-coronel, sendo lhe atribuído o 9º Regimento de Tropas de afro-americanos (USCT) no final de 1863. Estava no comando do 8º Regimento de Tropas de afro-americanos, quando seu comandante anterior foi afastado em decorrência de ferimentos sofridos. As experiências de Armstrong com esses regimentos despertou seu interesse pelo bem-estar dos afro-americanos. Liderou o regimento durante a Cerco de Petersburg, e o 8º Regimento foi um dos primeiros regimentos da União a entrar na cidade após os confederados abandonarem suas trincheiras. Em novembro de 1864, Armstrong foi promovido a coronel "por seus corajosos e destacados serviços em Deep Bottom e Fussell's Mill", durante o Cerco de Petersburg.