El marqués de la Gandara Real, tal como se dice no construyó este palacio, ya que el título fue concedido a Pedro Zorrilla de San Martín en 1735, vecino de Torrelaguna, Madrid.