Alla fine del XII secolo il castello si legò alle sorti di Giovanni d'Inghilterra il cui fratello Riccardo I d'Inghilterra gli aveva donato delle terre proprio in quella zona. Quando il fratello venne preso prigioniero durante la Terza Crociata assediò Wallingford a seguito della rivolta che si era scatenata, tuttavia Riccardo sopravvisse alla prigionia e Giovanni fu costretto a restituire il castello. Lo reclamò e lo ottenne nel 1199 quando salì al trono e fra il 1215 e il 1216 quando scoppiò la Prima guerra dei baroni lo usò abitualmente come base rinforzando ulteriormente le fortificazioni.