Harmenberg gewann 1978 noch einmal Mannschaftsbronze bei der Weltmeisterschaft. 1977, 1979 und 1980 siegte er in einem Weltcupwettbewerb im Einzel, 1977 und 1980 mit der Mannschaft. Bei den Olympischen Spielen 1980 in Moskau siegte Harmenberg in der Einzelwertung, er ist bis heute (Stand 2008) der einzige schwedische Fechtolympiasieger im Einzel. Die Mannschaft in der gleichen Aufstellung wie 1977 verlor in der zweiten Runde gegen die Polen und belegte am Ende den fünften Platz. 1981 beendete Harmenberg seine Karriere und konzentrierte sich auf sein Medizinstudium. 1997 wurde Johan Harmenberg in die International Jewish Sports Hall of Fame aufgenommen.