El acuerdo inicial con los Jerónimos fracasó a la muerte del marqués, Bernardino Pimentel, ya que su hijo no debió seguir las condiciones estipuladas, lo que conllevó a que los monjes Jerónimos abandonaron la casa, y el convento se entregara el 1 de enero de 1580 a los dominicos, que permanecerían allí hasta su exclaustración en 1835.