Siendo este local ellos de almacén de la Real Fábrica de Cristales de La Granja pasó a ser residencia del infante Sebastián de Borbón y del pintor José Madrazo, en 1914 la sede de la Presidencia del Consejo (denominado en su época "Palacio de la Presidencia") y en la actualidad la sede del Ministerio de Educación y Ciencia.