Desde el comienzo deseó una carrera militar y en 1844 empezó con ella. En 1845 sirvió en Nueva Escocia, Canadá, donde fue promovido a teniente y a capitán y en 1855 en la Guerra de Crimea. En 1857 fue ascendido a Teniente Coronel y, como tal, ayudó en la derrota de la Rebelión de la India de 1857. Se quedó en la India hasta 1874 y después regresó como coronel a Inglaterra. Se volvió Mayor General en 1877 y en 1878 fue enviado a Sudáfrica con el rango de Teniente General, donde acabó con la Novena Guerra de la Frontera del Cabo. Más tarde, en octubre de ese año él sucedió a su padre como 2° Barón Chelmsford.