Les travaux d'aménagement du square débutent en 1867, pour se terminer en 1872. Dans cet espace vert entouré de grilles et bordé en son sommet par des immeubles à trois étages et plus, on peut trouver entre autres un jardin rocaille, un monument / fontaine se déversant dans un bassin exécuté par Oscar Berchmans en 1911 et dédié au couple de philanthropes Georges et Hortense Montefiore-Levi, et plusieurs arbres massifs, dont un magnolia. Sur le côté sud du square se trouvent les degrés de Saint-Pierre réaménagés. 1877 marque ensuite l'arrivée du chemin de fer et la création de la gare de Liège-Palais au nord du square, ainsi que l'élargissement de la rue de Bruxelles, complètant les réaménagements du de cette zone. Dans le cadre de l'Exposition universelle de Liège de 1905, le bâtiment original de la gare est remplacé par un bâtiment néogothique d'Edmond Jamar, en harmonie avec la façade du palais provincial.