Etter at han hadde mistet faren og to søsken i sykdom, flyttet han i 1904 med moren og de andre søsknene til Kristiania, som fra 1925 het Oslo. Der begynte han i 1905 å studere musikk ved Musikkonservatoriet og fikk Karl Nissen, Catharinus Elling og Iver Holter som lærere. I 1912 ga han ut sin første komposisjon, . I perioden 1915–16 studerte han videre i Berlin. Han var med på etableringen av Norsk Komponistforening i 1917 og arbeidet i perioden 1925–45 som musikkanmelder i Aftenposten. Samtidig var han formann i TONO. Johansen var skribent, og gav i 1932 ut en omfattende biografi om Edvard Grieg.