Som statsråd sto Johansen nokså isolert i forhold til de andre statsrådene. Flere ganger truet han med å gå av, første gang i 1873. I april 1880 fikk hans marinebudsjett hard medfart i Stortingets militærkomité, og Johansen truet igjen med å gå av. Som sjef for marinedepartementet hadde han store vanskeligheter med å få sine budsjetter vedtatt, siden venstrepartiet i Stortinget ønsket å redusere bevilgningene til forsvaret, og dessuten brukte bevilgningsnektelser som et våpen mot regjeringen. I 1877 fikk han imidlertid gjennomført en plan for utviklingen av Norges kystforsvar. Postvesenet, telegrafvesenet, havnevesenet og fyrvesenet hørte også inn under hans departement.