Torre del Mar, durante la Edad Media, tuvo la doble misión de vigilar la costa de posibles asaltos por parte de los piratas y servir de aduana, de ahí que esté íntimamente ligada a su castillo, del que aún se conservan algunos restos del baluarte central trapezoidal y el torreón oriental en bastante mal estado y transformados en viviendas, en la zona conocida como Dentro de la Torre —calles Angosta, Ancha y Remo— y en la plaza de la Axarquía, donde hasta finales de los años 70 se ubicó el mercado municipal de abastos.