En byste av Larvik og Omegns Museumsforening leder Hans Teilman Hansteen ble i 1963 plassert i enden av Bastionhagen, sør for hovedbygningen.