Il a été bâti à l'emplacement du refuge de l'abbaye de Parc. Sa construction s'est étalée de 1823 à 1828. Ce bâtiment néo-classique est l'œuvre des architectes Charles Vander Straeten (1771-1834) et Tilman-François Suys (1783-1861). Il était à l'origine la résidence du prince Guillaume d'Orange à Bruxelles pendant la période hollandaise (il était alors appelé "palais du Prince d'Orange"). Il fut mis sous séquestre après la Révolution belge en 1830. Le mobilier fut restitué au prince d'Orange en 1842 et le palais transféré à l'État belge. Il fut question d'en faire une résidence pour le duc de Brabant, le futur roi Léopold II, mais celui-ci refusa. Il connut plusieurs affectations : en 1860, il abrita le Musée de peinture moderne. En 1876, il devint le Palais des Académies. Entre 1890 et 1898, le gouvernement central de l'État indépendant du Congo (dirigé par Edmond van Eetvelde et Charles Liebrechts) était situé au premier étage.