Etter å ha deltatt som sekondløytnant i den første slesvigske krig kom Klem til Frederikshald i Norge til slektningen Ole Rasch. Etter relativt kort tid åpnet han fotoatelier i byen og giftet seg senere med Raschs datter Kirsten Henriette. I 1865 solgte han atelieret og flyttet tilbake til København, hvor han trådte inn som kompanjong med Jens Petersen. Samme år ble han medlem i Den photographiske Forening, Danmarks første fotografiske forening. Men han ble ikke lenge i Danmark, og var tilbake i Norge allerede året etter da han åpnet atelier i Christiania i Universitetsgaten 6. Han overtok samtidig Carl Christian Wischmanns plater.