Bygningen fikk etter hvert navnet Kongegården fordi kongene Karl III Johan, Oscar I, Karl XV og Oscar II alle har overnattet der.