A principios del siglo XVII un grupo de cargadores de Indias, de mayoría guipuzcoana, fundó la "Venerable, Inmemorial y Pontificia Cofradía del Santísimo Cristo de la Humildad y Paciencia y María Santísima de la Amargura" en el convento de los agustinos, acogiendo en su seno a los vizcaínos residentes en Cádiz.