Son successeur, Gabriel de Beauvau prit le parti, vers 1550, de faire élever un bâtiment très novateur, influencé par les édifices que les grands seigneurs avaient découverts en accompagnant le Roi aux campagnes d’Italie.