La ermita de la Santa Cruz, del siglo XVI, también se erigía en el castillo como recuerdo de una de las leyendas históricas más sorprendentes de Peñas de San Pedro, recogida en Milagros de la Santa Cruz de la Villa de las Peñas de San Pedro, libro manuscrito redactado entre 1608 y 1742, que se conserva en la Colección Museográfica Parroquial.