Ia mulai berkarier dalam olahraga bandy di Swedia sebagai presiden tim kampung halamannya, AIK. Johansson kemudian menjabat sebagai presiden Asosiasi Sepak Bola Swedia antara tahun 1984 hingga 1991. Johansson dikenal sebagai orang yang mencetuskan Liga Champions UEFA dan menjadikan Kejuaraan Eropa UEFA 1992 untuk diselenggarakan di negara asalnya Swedia. Johansson diangkat sebagai Presiden Kehormatan UEFA oleh penggantinya Michel Platini di Kongres Düsseldorf pada Januari 2007.