Als atleet boekte Rautavaara zijn eerste grote internationale succes in 1946 bij de Europese kampioenschappen in Oslo. Met 66,40 m behaalde hij een bronzen medaille achter de Zweed Lennart Atterwall (goud; 68,74) en zijn landgenoot Yrjö Nikkanen (zilver; 67,50). Op de Olympische Spelen van 1948 in Londen vertegenwoordigde hij Finland bij het speerwerpen. Met een beste poging van 69,77 veroverde hij een gouden medaille en versloeg hiermee de Amerikaan Steve Seymour (zilver; 67,56) en de Hongaar József Várszeg (brons; 67,03). In 1950 stapte Tapio Rautavaara over op het boogschieten. Acht jaar later, in 1958, werd hij wereldkampioen met het Finse team. In zijn actieve tijd was hij aangesloten bij "Oulunkylän Tähti".