Stafford Castle ble bygget av normannerne i 1070, på en høyde rett utenfor byen. Det ble først reist i tømmer, og deretter ombygget i stein. Det har også blitt bygget om to ganger senere. Det eneste som er bevart er ruiner fra 1800-tallet som står på jordvollene. Vollene er store, og vitner om en imponerende festning da den var på sitt høydepunkt. Ruinene er flombelyst, og kan sees fra M6 og West Coast Main Line.