Bei den Olympischen Spielen 1984 gewann er mit der Mannschaft Gold und wurde Sechster im Einzelwettbewerb. Nachdem er 1985 nicht zur Nationalmannschaft gehörte, wurde Elmar Borrmann bei der Weltmeisterschaft 1986 zusammen mit Alexander Pusch, Volker Fischer und Arnd Schmitt Mannschaftsweltmeister. Bei der Weltmeisterschaft 1987, den Olympischen Spielen 1988 und der Weltmeisterschaft 1989 gewann er jeweils Silber mit der Mannschaft. Es folgten ein vierter Platz 1990 und Bronze bei der Weltmeisterschaft 1991. Seine zweite olympische Goldmedaille gewann er 1992 in Barcelona. Dafür erhielt er am 23. Juni 1993 das Silberne Lorbeerblatt."