Sin embargo, su denominación actual más popular es la de Museo del Ejército, debido a que albergó dicha institución hasta 2005, cuando se inició el traslado de sus colecciones al Alcázar de Toledo.