Før han gikk inn i krigen arbeidet Häyhä som bonde og jeger. I en alder av 17 år, vervet Häyhä seg til den finske militsen suojeluskunta og han mottok flere utmerkelser for sine skyteferdigheter. Hans gård skal angivelig vært full av trofeer. Under Vinterkrigen (1939–1940), mellom Sovjetunionen og Finland var han skarpskytter for den finske hæren mot Den røde armé. Med temperaturer mellom −40 og −20 ℃ gikk Häyhä kledd i helt hvit kamuflasje, og han ble kreditert for å ha tatt livet av 505 sovjetiske soldater. Dette skal angivelig ha blitt oppnådd i løpet av mindre enn 100 dager som gir et gjennomsnitt på syv drepte soldater per dag, på en tid av året med få timer dagslys. Det er rapportert at Häyhä på det meste drepte så mange som 25 sovjetiske soldater på én dag. Det oppnådde Simo 21. desember 1939.