Som med andre områder på Irlands sørvestkyst, hevder Bantry en eldgammel tilknytning til helgenen Brendan sjøfareren (Naomh Bréanainn) på 500-tallet. Irske sagn hevder at sankt Brendan var den første som oppdaget Amerika (eller kanskje Hebridene eller andre øyer nord for Irland). Vest for byen ligger kirkegården som markerer stedet for et kloster som tilhørte fransiskanerordenen fra 1400-tallet, men som det er ingenting er igjen av.