Замок Килки построил сэр Уолтер де Риддлесфорд в 1180 году после англо-нормандского завоевания Ирландии. Первый замок был выстроен по типу «мотт и бейли» — деревянный замок на искусственном холме. Внучка сэра Уолтера вышла замуж за Мориса Фитцджеральда, барона Оффали, поэтому Килки достался во владение феодалам Фицджеральдам, в собственности которых этот замок был более 700 лет.