Le prime registrazioni che ha fatto risalgono all'anno 1929 e l'ultima all'anno 1953. Il pezzo più famoso di Vesterinen, registrato nel 1939, è "Säkkijärven Polkka". Questa canzone non è stata composta da Vesterinen, ma la sua esecuzione è quella più famosa. Essa è nota soprattutto per l'uso militare durante la Guerra di Continuazione per effettuare il jamming sulle radio mine dei Sovietici.