W 1956 ponownie wziął udział w Turnieju Czterech Skoczni. Odniósł zwycięstwo w noworocznym konkursie turnieju w Garmisch-Partenkirchen, po czym został wykluczony z dalszej rywalizacji w efekcie tego, że podczas nocy sylwestrowej nie przestrzegał zakazu spożywania alkoholu. Zabraknąć miało go już na starcie zawodów w Ga-Pa, jednak wstawili się za nim koledzy z drużyny oraz członkowie sztabu szkoleniowego i trener ostatecznie pozwolił mu wystąpić. W lutym tamtego roku Silvennoinen wystartował w igrzyskach olimpijskich w Cortina d’Ampezzo, podczas których zajął dziesiąte miejsce w rywalizacji skoczków narciarskich. W marcu 1956 zwyciężył w igrzyskach narciarskich w Lahti.