Tidlig på 1900-tallet hadde parken et vannanlegg med fontene der de diagonale stiene møtes. Det var tatt vekk «forlengst» i 1977. I 1962 vedtok bystyret en omlegging av parken fordi gatene rundt skulle utvides. Det ble samtidig vedtatt å plassere Thaulowfontenen, som var tatt bort fra Chr. Hvidts plass, i Kirkeparken. I 1974 ble en skulptur av en barnegruppe, utført av Ørnulf Bast og bekostet av fabrikkeier Odd Gleditsch, satt opp. Skulpturen hadde stått på Chr. Hvidts plass etter at Thaulowfontenen var tatt bort derfra. Thaulowfontenen fikk samtidig tilbake sin gamle plassering på Chr. Hvidts plass.