Borgen ble oppført av Picot de Say, en normannisk baron, omkring 1100. Det var da en kraftig -konstruksjon, med to borggårder. Området han bestyrte var et grensebaroni, kjent som Honour of Clun, hvilket betydde at egne lover gjaldt der. I 1196 ble borgen beleiret av waliserne, og deretter kom det på FitzAlanslektens hender. De grunnla også byen Clun, og bygde om slottet som ble en viktig administrativ bygning.