Il Palazzo Baronale, già Castello Aragonese, è uno dei principali monumenti della cittadina. I recenti restauri hanno evidenziato tracce di una porta d'ingresso e di un antico fossato risalenti alla fine del '300. Nel 1486, sotto il feudatario Antonello Gesualdo, Martano aveva il castello, le mura ed il fossato. Dentro queste fortificazioni si serrarono i martanesi alla notizia dell'assalto turco di Otranto nel 1480. Dopo la riconquista aragonese, del 1481, il castello venne ricostruito. Sorse a nord-est, attaccato alle case dell'antico abitato dal lato sud e, protetto da un fossato, si raccordava, con i suoi massicci volumi, alle mura cittadine, difese da cinque torri poste a presidio della "Terra" (il Borgo). Di questo fortilizio di marca aragonese, rimangono la torre di via Marconi e l'imponente torrione cilindrico del castello che presenta la base scarpata, il toro marcapiano ed, all'interno, tre feritoie ed una cannoniera strombata. Dalla superiore piazza d'armi, con falconetti, colubrine ed archibugi si sparava contro gli aggressori.