Johansen ble medlem av Arbeiderpartiet i 1997 og var statssekretær i Utenriksdepartementet for Arbeiderpartiet i Jens Stoltenbergs første regjering i perioden 2000–2001. Etter Arbeiderpartiets valgnederlag ved stortingsvalget i 2001 ledet Johansen det interne utvalget som studerte valgnederlaget og foreslo tiltak for å gjenreise partiets tillit. Han var generalsekretær i Flyktninghjelpen 2002–2005. Johansen var igjen statssekretær i Utenriksdepartementet i Jens Stoltenbergs andre regjering i perioden 2005–2009. Som statssekretær arbeidet Johansen med internasjonale (ikke-europeiske) spørsmål, ikke minst med fredsarbeidet i Palestina, Sudan, Eritrea, og Afrika forøvrig. Fredsarbeid og utviklingsspørsmål er Johansens fremste interessefelt i utenrikspolitikken, og i denne egenskap var hans ansvarsområde som statssekretær i Utenriksdepartementet delvis overlappende med miljø- og utviklingsminister Erik Solheims fagfelt.