In 1545 schonk keizer Karel V de stad, de heerlijkheid en het kasteel van Binche aan zijn zus Maria van Hongarije, de landvoogdes die notoir verzot was op jagen. Op de plek van het 12e-eeuwse slot liet ze een renaissancepaleis optrekken door Jacques Dubrœucq, waarrond een prachtige muzentuin kwam. Voor de inrichting liet ze kunstwerken maken door Titiaan, Michiel Coxcie en Pieter Coecke van Aelst. Het hofleven van de Habsburgers kende hier enkele hoogtepunten, zoals in 1549 het feest dat bekend kwam te staan als de "Triomphes de Binche" (fr). Tijdens de Italiaanse Oorlog liet Maria het kasteel Folembray van koning Hendrik II van Frankrijk vernielen, maar het kwam haar duur te staan. Hij organiseerde in 1554 een ongeziene wraakexpeditie die het kasteel en de stad aan de vlammen prijsgaf, naast andere eigendommen van haar in Mariemont, Trazegnies, Le Roeulx en Philippeville. Op de ruïnes liet hij een boodschap achter: "Dwaze koningin, Folembray zal je bijblijven". Binche werd herbouwd maar niet het kasteel.