En 1459, la familia Baissey, heredera de Juan de Friburgo (muerto en 1459), la recibe en herencia. Juan de Baissey manda restaurar el castillo antes de desaparecer en la batalla de Morat (1476). A partir de 1495, es su hijo, Antonio de Baissey, quien reemprende la reconstrucción en ladrillo del castillo a su vuelta de las guerras italianas. Las obras de restauración concluyen en 1539 bajo Claudio de Baissey. El plano general del edificio, los fosos y la capilla son de esta época. De igual modo, las construcciones del corral son restauradas y se construye un palomar. En esta residencia restaurada, los Bassey reciben, el 27 de mayo de 1564, a Catalina de Médicis acompañada del joven rey Carlos IX durante su gran "tour de France". El 9 de junio de 1593, la fortaleza de Gaspar de Baissey se pone en juego en una dura luch entre la Santa Liga de París y los partidarios de Enrique de Navarra; la toma del castillo fuerza a los royalistas a huir a Vergy.