德华一世时期，在理查二世在位期间（1377–1399）扩建至如今的规模。
历史.已知最早建于此处的要塞是罗马帝国皇帝克劳狄乌斯用来保护伦迪尼乌姆（Londinium）的罗马城堡。在1078年，征服者威廉命令人建造白塔以保卫诺曼人免受那些住在伦敦市的人的袭击并保卫伦敦免受其他人的攻击。较早时的要塞（包括罗马的那个）都是用木建造的，不过， 威廉命令他的下属用他从法国运回来的大石来重建那座塔。狮心王理查修建了围绕城墙的护城河，并把泰晤士河水引入。护城河的修建一直不太成功，直到亨利三世