Elmar Borrmann startete für den Fecht-Club Tauberbischofsheim und besuchte die Kaufmännische Schule Tauberbischofsheim. 1977 war Borrmann erstmals Deutscher Einzelmeister. 1981 und 1984 konnte er diesen Titelgewinn wiederholen. Bei der Weltmeisterschaft 1979 gewann er mit der Mannschaft Silber. Nachdem er wegen des Olympiaboykotts 1980 nicht an den Olympischen Spielen in Moskau teilnehmen konnte, gewann er bei der Weltmeisterschaft 1981 in Clermont-Ferrand Bronze in der Einzelwertung. Zwei Jahre später bei der Weltmeisterschaft 1983 in Wien gewann er Gold in der Einzelwertung und Silber mit der Mannschaft. Es sollte seine letzte Einzelmedaille bei Weltmeisterschaften bleiben.