O ingresso na carreira militar se deu dois anos depois, em 1º de maio de 1857, quando assentou praça como soldado voluntário no 1º Batalhão de Artilharia a Pé. No ano seguinte, aos 19 anos de idade, matriculou-se na Escola Militar do Rio de Janeiro, concluindo o curso em 1861, declarado segundo-tenente e integrando o Corpo de Artilharia. Com a eclosão da Guerra do Paraguai, Floriano foi para o Rio Grande do Sul em maio de 1865 juntamente com o 1º Batalhão de Voluntários da Pátria, denominação dada às unidades militares criadas em 1865 pelo Império do Brasil para reforçar o efetivo das forças militares do Exército Brasileiro na guerra. Participou, até o fim do conflito, das batalhas mais importantes da guerra, tais como as de Tuiuti, Itororó, Lomas Valentinas e Angostura. Ao término da guerra, foi promovido a tenente-coronel em 9 de abril de 1870.