Lo mandó edificar Pedro Fernández de Velasco cuando reinaba Enrique II, del que era Camarero Mayor y posteriormente Condestable de Castilla (nombrado en 1473).