Porto Azzurro preges av festningen San Giacomo di Longone, fra spansk tid. Anlegget ble oppført under kong Filip III av Spania, for å beskytte havnen. Idag er festningen fengsel, og ikke offentlig tilgjengelig.