Bajando la montaña desde la base de la "peña de la Virgen", por senderos no pavimentados a un costado del monumento, se llega a unas cuevas a donde se puede entrar, denominadas en conjunto «cueva de la Peña de la Virgen II».