En el lugar del jardín actual se encontraba en la Edad Media, una fortaleza rodeada con un foso con agua, y desde aproximadamente 1340 fue una posesión del Príncipe elector de Colonia.