Jim Johnson spielte in seiner Jugend für die "St. Paul Vulcans" in der United States Hockey League, bevor er von 1981 bis 1985 die University of Minnesota Duluth besuchte. Dort machte er einen Abschluss in Kommunikationswissenschaften und lief parallel für deren Eishockey-Team auf, die "Bulldogs". Mit der Mannschaft gewann er 1984 und 1985 die Meisterschaft der Western Collegiate Hockey Association, wurde allerdings in keinem NHL Entry Draft berücksichtigt. Erst nach der Teilnahme an der Weltmeisterschaft 1985 erhielt der Abwehrspieler zahlreiche Angebote aus der National Hockey League (NHL) und schloss sich in der Folge im Juni 1985 den Pittsburgh Penguins an.