En 1518, como consecuencia del matrimonio entre la última heredera de la familia Voisins, Françoise, con Jean de Joyeuse, se inició la construcción del castillo actual; se terminó definitivamente en 1540.