Området som parken ligger i, var tidligere et leireuttak som ble anlagt på 1800-tallet og drevet av Tønsberg Teglverk. Det ble nedlagt i 1909, men satte varige spor i terrenget. Etter nedleggelsen ble den første parken anlagt på stedet. På 1950-tallet hadde kommunen kjøpt Rosanes-gården, og bestemte seg for å ruste opp parken for å feire rederiet Wilh. Wilhelmsens 100-årsjubileum. Sveinung Skjold, som var avgangsstudent i hagearkitektur ved Norges landbrukshøgskole, vant en konkurranse som ble utlyst for å bestemme utforminga av parken. Den nye parken sto ferdig i juli 1961. Den har seinere gjennomgått flere mindre opprustinger.