Op de Olympische Spelen van 1932 in Los Angeles won Järvinen een gouden medaille bij het speerwerpen. Met een olympisch record van 72,71 m versloeg hij zijn landgenoten Matti Sippala (zilver; 69,80) en Eino Penttilä (brons; 68,70). De uitkijktoren van het Olympiastadion van Helsinki heeft dezelfde hoogte als de prestatie van Matti Järvinen. Op het EK 1934 in Turijn en het EK 1938 in Parijs veroverde hij de Europese titel. Tijdens de Olympische Spelen van 1936 in Berlijn moest hij vanwege blessures genoegen nemen met een vijfde plaats.