Una sucesión de relatos semilegendarios relatan que su primer dueño fue un montero de Felipe II de España, quien mandó construir el edificio original para su hija, que se casó en el año de 1569 con un varón de añejo linaje madrileño (los Zapatas), que enseguida partió a la guerra como capitán de los tercios de Flandes, donde murió en la batalla de San Quintín.