Prácticamente hasta inicios del siglo XIX la historia de Peñas de San Pedro ha estado en relación a su castillo-fortaleza, en cuya cumbre estuvo situada la localidad hasta que los tiempos más tranquilos permitieron que bajara a su actual localización.