Viele Burgen, vor allem Königsschlösser, wurden im 15. Jahrhundert dem Verfall preisgegeben. Kenilworth Castle blieb jedoch weiterhin ein bevorzugter Aufenthaltsort, weil es eine spätmittelalterliche Palastfestung war. Der Sohn von John of Gaunt, Heinrich IV., machte Kenilworth Castle wieder zu Kroneigentum, als er im Jahre 1399 den Thron bestieg, und hielt sich in der Folgezeit häufig auf der Burg auf. Heinrich V. nutzte Kenilworth Castle auch ausgiebig, hielt sich aber bevorzugt in der "Pleasance" auf, dem Miniaturschlösschen, das er auf der anderen Seite des "Great Mere" gebaut hatte. Dem zeitgenössischen Chronisten John Strecche zufolge, der in der benachbarten Kenilworth Priory lebte, veralberten die Franzosen Heinrich V. im Jahre 1414, indem sie ihm als Geschenk Tennisbälle nach Kenilworth Castle sandten. Die Franzosen beabsichtigten damit eine Anspielung auf einen angeblichen Mangel an kriegerischer Tüchtigkeit Heinrichs V. Nach Strecche spornte dieses Geschenk Heinrich in seiner Entscheidung an, den Agincourt-Feldzug zu starten. Dieser zeitgenössische Bericht wurde von William Shakespeare als Grundlage für eine Szene in seinem Theaterstück "Heinrich V." herangezogen.