Departementet ga Lillehammer medhold, og i 1854 flytta Collett inn i Wiesegården, et av de mest standsmessige husa i kjøpstaden. Også Collets etterfølger, Christian Jensen bodde der.