Tidligere sto fontenen «Seilende havfrue med flagg og vimpler» foran Kilden aktivitetssenter. Den er laget av kunstneren Arne Vinje Gunnerud, og er fra en stor separatutstilling fra kunstneren som ble holdt på Kanalplassen i 1980. Fontenen fikk etter dette opphold på stedet. Steinen som fontenen er montert på er en kvernstein som Gunnerud fant liggende halvveis nedgravd i sanden i sentrum av byen. Den var blitt kassert etter en transportskade, og ble reparert før den ble brukt i fontenen. En byste av Joseph Stockinger sto tidligere foran et mindre grøntområde ved «Statens hus». Bysten er laget av Trygve Thorsen, og ble avduket 17. mai 2000 av Stockingers oldebarn, Ulf Stockinger, på dagen 143 år etter at Joseph Stockinger stiftet Arendal Turnforening. Bysten og fontenen ble flyttet ved ombyggingen av plassen i 2012.