Da huset gikk over til å huse Carlsbergakademiet gikk haven over til å bli kalt Akademihaven.