Slottet ble gjort kjent av Lord Byron gjennom diktet «The Prisoner of Chillon» (1816) om munken og politikeren François Bonivard som ble holdt fanget her fra 1530 til 1536.