Fra 1866 hadde parken en fontene i sentrum, men denne måtte i 1908 vike for en statue av Oscars bror, Henrik, som ble reist i forbindelse med 100-årsjubileet for hans fødsel. Fontenen ble i første omgang flyttet til øvre torv, siden revet og glemt. I 1991 ble den restaurert og gjenreist på torvet. I dag forbindes først og fremst parken med Henrik Wergeland, men det er hans bror som er opphav til navnet.