Han var aktiv i Agrarförbundet, det senere Centerpartiet. Virolainen hadde en lang politisk karriere og er den finske politiker som har vært statsråd lengst, til sammen dager. Han ble første gang statsråd i 1950, da som innenriksminister. Senere var han utdanningsminister og landbruksminister. Han var utenriksminister fra 1954 til 1956 og igjen i 1957 og 1958. I flere regjeringer var han visestatsminister.