Il nome è legato all'evento prodigioso avvenuto secondo la tradizione dopo la presa di Otranto da parte dei turchi. Gli abitanti del casale di San Nicola invocarono la protezione della Madonna che comparve impugnando una palma, e con al seguito un esercito. I turchi, temendo che stesse per sopraggiungere l'esercito guidato dal duca Alfonso d'Aragona, si allontanarono e la popolazione fu salva. A ricordo dell'avvenimento l'abitato mutò il nome in Palmarice, poi Palmaricce ed infine Palmariggi, che vuol significare "Tu che reggi la palma", in onore della Madonna.