El 1961, el president John F. Kennedy nomenà Connally Secretari de l'Armada (una de les tres branques en què es divideix el Departament de Defensa. Connally va dimitir onze mesos més tard per convertir-se en governador de Texas, funció que ocupà fins a 1969. El 22 de novembre de 1963, Connally fou seriosament ferit en el moment que es trobava dins el cotxe del president Kennedy, el dia en què Kennedy fou assassinat a Dallas (Texas).