La academia fue creada con el nombre de Colegio de Infantería en Toledo, en 1850.