Na haar terugkeer in België in de zomer van 1867 neemt Charlotte van België, ex-keizerin van Mexico en zuster van Leopold II, voor enkele maanden haar intrek in het paviljoen. Het gebouw blijkt echter onvoldoende gemeubileerd en niet goed aangepast aan het koude seizoen. Charlotte neemt op 8 oktober 1867 haar intrek bij haar broer en schoonzus in het Kasteel van Laken. Pas in mei 1869 keert ze in het aangepaste paviljoen terug. Zevenendertig personen staan er tot haar dienst, waaronder vijf lakeien die haar aan tafel bedienen. In de nacht van 2 maart 1879 breekt er brand uit in het paviljoen. Keizerin Charlotte wordt tijdig door haar hofdames gewekt en ontsnapt aan de vlammen. Ze neemt vervolgens haar intrek in het Kasteel van Bouchout waar ze tot aan haar dood zal verblijven. Het paviljoen zal niet worden heropgebouwd. Pas achtentwintig jaar later laat Leopold II er naar aanleiding van de Koloniale tentoonstelling van Tervuren en de Wereldtentoonstelling van Brussel er het zogenaamde 'Koloniënpaleis' bouwen. Een tentoonstellingsruimte die zijn koloniale project in Congo moet promoten.