Den 1. mars 1939 begynte han i Norges Fotballforbund som assistent til daværende generalsekretær Asbjørn Halvorsen. I 1955 ble Johansen selv generalsekretær i forbundet. Han ble sittendet i denne stillingen frem til 1983.