Allerede i 1999 hadde han vært kandidat ved valget til Finlands riksdag for Vasa valgkrets. Han fikk da en varamannsplass. Ved valget i 2007 fikk han flest stemmer i Egentliga Finlands valgkrets. Han ble kultur- og idrettsminister samt likestillingsminister. Ved valget i 2011 ble han gjenvalgt og samme år utnevnt til forsvarsminister. Før han overlot vervet til etterfølgeren Carl Haglund i 2012, hadde han gjennomført den største forsvarsreformen i Finland etter andre verdenskrig. I 2015 ble han valgt inn i Riksdagen for sin tredje periode. Han ble da medlem av utenrikskomiteen.