I olympiska spelen 1956 i Cortina d'Ampezzo i Italien blev Lesser nummer 8. Han var 17,0 poäng efter segrande Antti Hyvärinen från Finland och 14,5 poäng från en plats på prispallen. Under olympiska spelen 1960 i Squaw Valley i USA, slutade Lesser på en 21:a plats. Helmut Recknagel vann tävlingen för Tyskland. (Deltagare från Västtyskland och Östtyskland tävlade tillsammans, som ett "gemensamt tyskt lag", i olympiska vinterspelen 1956, 1960 och 1964.)