À la suite des élections de 1994 et sa victoire sur le représentant fédéral Sam Coppersmith, candidat du Parti démocrate (53,7 % contre 39,5 % des suffrages), il entre au Sénat. Il est triomphalement réélu en 2000 (79,3 %), puis en 2006 (53,3 %). Durant son mandat de sénateur, Kyl est membre des commissions judiciaire, des finances, de l'énergie et des ressources naturelles et des renseignement. Il est également le numéro deux du groupe des sénateurs du parti minoritaire au Sénat à partir du , succédant à Trent Lott (Mississippi). Kyl n'est pas candidat à sa succession en 2012.