Изграђен је на вештачки направљеном узвишењу стратешки важном за контролу реке Темзе и главног пута ка Лондону. Првобитно је био окружен дрвеном палисадом и јарком, а касније су изграђене камене зидине у време владавине Хенрија I. Од времена његове владавине овај замак је постао резиденција британских владара, што га чини и најдуже насељеним замком у Европи. Током Првог баронског рата је одиграо значајну улогу. Тада је два пута био под опсадом, али је успешно одбрањен. Хенри III је током 13. века изградио луксузну палату у оквиру коплекса замка, док је Едвард III поново саградио замак, што је био најскупљи грађевински пројекат неверског карактера у средњовековној Енглеској. У оквиру замка је у 15. веку изграђена капела светог Ђорђа. Током владавине Тјудора замак је задржао свој изглед, али су Хенри VIII и Елизабета I повећали значај овог замка, јер су га користили за одржавање свих значајних дипломатских догађаја.