Det viktigste landemerke fra middelalderen er Colchester Castle, som ble bygget av normannerne på 1000-tallet over et romersk tempel. Det ligger helt i sentrum, bare et minutts gange fra hovedgaten, og er omgitt av en park.