Kenilworth Castle wurde in den frühen 1120er von Geoffrey de Clinton, Oberkammerherr von Heinrich I., begründet. Die ursprüngliche Form der Burg ist ungewiss. Es wurde vermutet, dass es sich um eine Motte handelte, einen Erdhügel, der von Holzhäusern gekrönt war. Jedoch könnte der steinerne Große Turm bereits ein Teil des ursprünglichen Entwurfs gewesen sein. Clinton war ein lokaler Rivale von Roger de Beaumont, 2. Earl of Warwick, der Eigentümer der benachbarten Warwick Castle war, und der König machte Clinton als Gegengewicht zu Beaumonts Macht zum Sheriff von Warwickshire. Clinton begann jedoch nach 1130, die Gunst des Königs zu verlieren, und als er im Jahre 1133 starb, war sein Sohn, der auch Geoffrey hieß, noch minderjährig. Geoffrey und sein Onkel William de Clinton waren gezwungen, sich mit Beaumont zu verständigen. Dieser Rückschlag und die schwierigen Jahre der Anarchie (1135–1154) verzögerten zeitweise jede weitere Entwicklung der Burg.