Hasta finales de dicho siglo XIV, el castillo fue posesión de los condes de Grandson, hasta su afiliación a la casa de Saboya, lo cual supuso una pérdida de influencia y poder del condado.