I 1857 ble Det Norske Videnskaps-Akademi grunnlagt i Christiania. Det gav universitetsmiljøet der et forum for debatt og svekket samtidig den vitenskapelige betydningen av DKNVS enda mer. Et annet problem for Selskabet på denne tiden, var plassen. Samlingene, særlig boksamlingene, var blitt for store for Selskabets lokaler i Harsdorffbygningen. Man bestemte seg etter en del diskusjoner for å reise et nybygg på Kalvskinnet. Bygget ble tegnet av arkitekt P.H. Holtermann. Det var romslig dimensjonert og stod ferdig i 1866. Da kunne biblioteket og naturaliesamlingen flyttes fra Harsdorffbygningen til Selskabets eget hus. Byggekostnadene hadde tømt Selskabets kasser, så stipendvirksomheten måtte innskrenkes betydelig, og man konsentrerte seg om å bygge ut den vitenskapelige samlingen. Samlinger som den i Trondheim stod på denne tiden sentralt i forskningen.