Sa construction commença peu après la conquête de l'Angleterre par Guillaume le Conquérant au . Depuis le règne d'Henri d'Angleterre, le château a abrité de nombreux monarques ; il est le plus ancien palais habité sans interruption en Europe. La chapelle Saint-Georges, construite au , est considérée par l'historien John Martin Robinson comme . Le style raffiné des appartements d'État construits au début du a été vanté par l'historien de l'art Hugh Roberts, qui parle d'.