El castillo de Ballyfermot lo construyó Wolfram De Barneval en el siglo XIV como fortaleza contra los formidables O'Byrnes y O'Tooles, los cuales eran parientes de Mac Giolla Mocholmog, y por esa época se habían casado con normandos y se les llamaba FitzDermot.