Han vokste opp i Slesvig, som den gangen var i personalunion med Danmark, som sønn av bonde Johann Petersen og Sophie Maria Lorentzdatter. I likhet med mange andre sønderjyder på 1600-, 1700- og 1800-tallet kom han til Trondhjem for å drive handel. Handelspatrisiatet i Søgaden var dominert av sønderjyske familier. Da Johannsen kom til byen, ble han således ansatt hos en annen sønderjyde, Hans Carl Knudtzon. Hans handelshus, Hans Knudtzon & Co., var et av byens ledende handelshus med en rekke handelsskip, eierinteresser i kobberverk og industri, eksport av fisk, kobber og trelast til utlandet, og import av korn, salt og annet. Johannsen giftet seg i 1801 med Knudtzons datter, Magdalena Boletta, men hun døde to år senere. I 1804 giftet han seg på nytt med hennes søster, Sarah Marie Knudtzon. Begge ekteskapene var barnløse.