Lo mismo que las otras cofradías penitenciales históricas, tuvo sus comienzos con sede en una ermita, situada en un lugar conocido como "las cuatro calles", que en el Valladolid del siglo XXI corresponden a la calle de Torrecilla, de la Rondilla de Santa Teresa, de Gondomar y de Santa Clara.