Johannsons Vater Ken war ebenfalls US-amerikanischer Nationalspieler und nahm an der Weltmeisterschaft 1962 teil. Sein Bruder John spielte in Wisconsin mit Jim in der Universitätsmannschaft und nahm an der Junioren-Weltmeisterschaft 1982 teil. Johannson war verheiratet und hatte eine Tochter.