Najstarsza, zachodnia część zamku pochodzi z XII wieku i została zbudowana przez Gerarda, hrabiego Sponheim, brata hrabiego Vianden. Pałac i wieże pochodzą prawdopodobnie z około 1400 roku, kiedy mieszkali w nim zamożni lordowie Brandenburga. W 1634 roku Claude de Lannoy zbudował sale reprezentacyjne, w tym dużą Salę Rycerską w hiszpańskim stylu Flandrii. W 1660 r. dobudowano stajnie, magazyny i budynki administracyjne. Ostatecznie w XVIII wieku zbudowano nowe stajnie. Z biegiem lat, podobnie jak inne zamki w Luksemburgu, Clervaux popadał w ruinę. częściowo odrestaurowany i używany jako hotel. Został zniszczony podczas bitwy pod Clervaux trwającej w dniach 16-18 grudnia 1944, która była częścią ofensywy w Ardenach. Po wojnie zamek został odrestaurowany i pełni funkcję siedziby trzech muzeów i władz miejskich.