Baker foi educado em Gloucester e no Ceilão, e em 1848 ingressou no Regimento de Fuzileiros do Ceilão como segundo-tenente. Logo foi transferido para o 12º Regimento de Lanceiros Reais e participou da 8ª Guerra de fronteira do Cabo de 1852 até 1853. Na Guerra da Crimeia, Baker esteve presente na Batalha do Rio Tchernaya e na queda de Sevastopol, e em 1859 foi promovido a major no 10º Regimento de Hussardos Reais e assumiu o comando deste um ano depois. Este posto ele manteve durante treze anos, período durante o qual a maior eficiência de seus homens foi alcançada, e fora do regimento, prestou bons serviços para o seu Exército através de seus escritos.