Hugh de Lacy nahm an der anglo-normannischen Eroberung von Irland teil und wurde 1172 zum Lord of Meath erhoben. Er verbrachte viel Zeit von Ludlow Castle entfernt und König Heinrich II. konfiszierte die Burg in seiner Abwesenheit, möglicherweise um dessen Loyalität in Irland sicherzustellen. Hugh de Lacy starb 1186 in Irland und die Burg ging an seinen Sohn Walter über, der noch unmündig war und das Anwesen erst 1194 in Besitz nahm. Während der Rebellion von Johann Ohneland gegen Richard I. 1194 schloss Walter de Lacy den Angriffen gegen Prinz Johann an. Richard I. aber nahm davon keine Notiz und konfiszierte Ludlow Castle und Walters andere Besitzungen. Walter de Lacy bot an, seine Ländereien für 1000 Mark zurückzukaufen, aber sein Angebot wurde abgelehnt, bis man sich 1198 schließlich auf die gewaltige Summe von 3100 Mark einigte.