Kanerva hadde en rekke regjeringsposter. Fra 1987 til 1991 var han medlem av regjeringen til Harri Holkeri, der han var kanselliminister, minister i finansdepartementet og trafikkminister. Fra 1991 til 1995 var han arbeidsminister i regjeringen til Esko Aho, dessuten også minister i finansdepartementet. I 2007 ble han utenriksminister i den andre regjeringen til Matti Vanhanen. Kanerva gikk av fra denne posten 1. april 2008. Avgangen kom etter den såkalte «SMS-skandalen», der det ble kjent at Kanerva hadde sendt et stort antall tekstmeldinger til en nattklubbdanserinne. Han ble etterfulgt av Alexander Stubb.