I 2009 ble Johansen valgt som partisekretær i Arbeiderpartiet etter Martin Kolberg, og satt i vervet til 2015. Høsten 2014 ble han valgt som byrådslederkandidat og listetopp for Oslo Arbeiderparti til kommunevalget i 2015. Etter valget ble han byrådsleder i Oslo. Han ble gjenvalgt i 2019. Han stilte til valg også i 2023, men tapte valget og ble etterfulgt som byrådsleder av Eirik Lae Solberg (H).