Leszek Swornowski nahm an zwei Olympischen Spielen teil: bei den Olympischen Spielen 1976 in Montreal wurde er mit der Mannschaft Elfter. 1980 erreichte er in Moskau im Mannschaftswettbewerb das Finale, das die polnische Equipe gegen Frankreich mit 4:8 verlor. Gemeinsam mit Piotr Jabłkowski, Andrzej Lis, Ludomir Chronowski und Mariusz Strzałka erhielt Swornowski so die Silbermedaille. Die Einzelkonkurrenz schloss er auf dem 25. Rang ab. Zwischen den beiden Olympiateilnahmen gewann er 1979 in Melbourne Bronze bei den Weltmeisterschaften. Eine weitere Bronzemedaille sicherte er sich 1983 bei den Europameisterschaften in Lissabon. 1978 und 1986 wurde Swornowski polnischer Meister im Einzel, mit der Mannschaft gewann er von 1977 bis 1987 den Titel.