Zunächst wurde Sommer 1989 und 1990 Weltmeister sowie 1993 und 1995 Europameister. 1992 gewann die deutsche Mannschaft bei den Sommer-Paralympics in Barcelona. Das gleiche gelang ihr bei den Paralympischen Sommerspielen 1996. In der Besetzung Elmar Sommer, Rudolf Schwietering, Pavo Grgic, Manfred Kohl, Jens Altmann, Stefan Kaiser, Karl-Josef Weißenfels, Oliver Müller, Andreas Johann, Bernard Schmidl und Josef Giebel gewann die deutsche Volleyballmannschaft dort das Endspiel und sicherte sich so die Goldmedaille. Auch bei den folgenden Sommer-Paralympics 2000 in Sydney holte Sommer mit der deutschen Mannschaft die Goldmedaille. Für diese Erfolge wurde er dreimal mit dem Silbernen Lorbeerblatt ausgezeichnet. Später erreichte er unter anderem erste Plätze beim World Cup in Phnom Penh (2007, 2009, 2011) und den World Championships 2008 in Handlová.