Per alcuni studiosi il nome Panza deriverebbe dalle parole greche "pan" (tutto) e "zao" (vivo) perciò tutto vivo, dove tutto è vivo; ma potrebbe derivare anche dal verbo latino "pandere"; "pansa" cioè terra estesa al sole. Da sempre esposti alle invasioni piratesche (già nell'812 papa Leone III rivolgeva appelli a Carlo Magno affinché proteggesse l'Isola) i Panzesi trovarono dapprima rifugio in case scavate in enormi massi tufacei, ma, col crescere della popolazione, e soprattutto in seguito alla vittoria di Lepanto del 7 ottobre 1571, il paese si dotò, nel 1576, di ben 7 torri, alcune quadrate - quelle poste all'interno dell'abitato - ed alcune rotonde, tutte in comunicamento ottico con le altre dei casali limitrofi