Inicialmente pertenecía al Real de Manzanares y posteriormente a los Duques del Infantado.