La fortaleza está situada sobre un peñón conocido popularmente como la Peña de Martos.