El edificio principal del museo es el antiguo Hospital General de Madrid, gran edificio neoclásico del siglo XVIII encargado por Carlos III y diseñado inicialmente por José de Hermosilla y continuado posteriormente por Francesco Sabatini, aunque sólo se construyó una parte del proyecto.