Costruito all'epoca della Conquista normanna dell'Inghilterra nell'XI secolo per controllare le strade che da Londra andavano verso le Midlands. La sua costruzione si deve probabilmente a Roberto di Mortain, fratellastro di Guglielmo I d'Inghilterra e del quale divenne poi proprietario. Nei secoli a venire diversi re lo donarono ai loro cancellieri e uno di coloro che maggiormente lo ampliò fu Tommaso Becket. Nel 1216 fu quindi posto sotto assedio nella Prima guerra dei baroni combattuta fra i baroni ribelli e Giovanni d'Inghilterra, assediato dai francesi comandati da Luigi di Francia per venti giorni con macchine da assedio fu infine costretto alla resa. Reclamato di nuovo dalla corona l'anno seguente il castello andò a Riccardo di Cornovaglia, secondogenito di Giovanni, iniziando un lungo legame fra Berkhemsted e il contado di Cornovaglia, che poi divenne ducato. Riccardo restaurò il castello facendolo diventare una residenza ed anche il centro dell'amministrazione del contado stesso. Edoardo III d'Inghilterra lo donò quindi al primogenito Edoardo il Principe Nero che estese i territori per la caccia, fu anche usato come prigione per i prigionieri reali e fra coloro che vi soggiornarono vi fu anche Giovanni II di Francia.