El momento de mayor tensión llegó en 1646, cuando el obispo de Calahorra, Don Juan Piñero Osorio, culpó a los romeros de inmorales por beber y comer durante el trayecto a la ermita.