Согласно местным преданиям, холм, где стоит замок, служил резиденцией местных правителей за несколько сотен лет до норманнского вторжения. Предание о том, что именно здесь принял христианство Святой Патрик (V век н. э.), сделало Кэшел местом паломничества.