Clitheroe Castle er et av de minste normanniske borgtårn i landet. Den står på en kalksteinsklippe over byen, og er en av grevskapets eldste bygninger. Det er også den eneste bevarte festningen i Lancashire som hadde en rojalistisk garnison under den engelske borgerkrig. Hullet i siden ble laget i 1649 slik at det skulle bli ubeboelig; dermed trengte ikke staten å ha en garnison der, og eventuelle opprørere kunne ikke ta kontroll over det.