Parkanlegget ble planlagt av maleren Hans Gude og var opprinnelig på 80 mål. i kanalen var det bygget to øyer ved navnene "Danmark" og "Norge" Parken har sitt navn fra eier av området på 1800 tallet, kjøpmann Tollef Olsen Bache, som etterlot det til sønnen Niels Bache.