I 1997 ble hun innvalgt i stadsfullmäktige i Jyväskylä og landskapsfullmäktige i Mellersta Finland. Virkkunen var ordfører i Jyväskylä fra 2005 til 2008. Hun var innvalgt i Riksdagen fra 2007 til 2014 og nestleder i Samlingspartiet fra 2008 til 2014. I 2008 ble hun utnevnt til undervisningsminister i Matti Vanhanens andre regjering, og fortsatte på posten i Mari Kiviniemis regjering frem til regjeringsskiftet i 2011, da hun ble forvaltnings- og kommunalminister i Jyrki Katainens regjering. Idet Vänsterförbundet forlot regjeringen i 2014, ble Virkkunen trafikk- og kommunalminister i noen måneder. Virkkunen har vært valgt til Europaparlamentet siden 2014, og er tilsluttet Det europeiske folkepartis gruppe.