Johansen ble sekondløytnant i marinen i 1839. 1840–42 var han elev ved militærhøyskolen, før han i 1846 ble lærer ved Sjøkrigsskolen. Denne stillingen hadde han inntil 1856, da han ble utnevnt til tøymester i marinen. I denne stillingen var han sjef for marinens artilleriverksteder og laboratorium. Marinemateriellet i Norge gjennomgikk i disse årene en betydelig utvikling; for eksempel ble det innført monitorer, riflede kanoner og undervannsminer. Johansen ble premierløytnant i 1852, kaptein i 1868. I 1870 ble han utnevnt til verftssjef og kommandant på Karljohansvern festning. Selv om han ikke hadde vært aktiv innenfor politikken ble han i 1872 utnevnt til statsråd og sjef for Marine- og postdepartementet, som Ole Jacob Brochs etterfølger. I 1879 ble han kontreadmiral.