Efter kriget återgick han till juridiken, men blev övertalad att tjänstgöra som medarbetare åt senator Lyndon B. Johnson i . Efter att Johnson valts till övertalade han president John F. Kennedy att utse Connally till . Connally blev inte långvarig som marinminister eftersom han ställde upp som kandidat till posten som Texas guvernör, vilket han också vann. Som guvernör öppnade han för kvinnor att studera vid Texas A&amp;M University. Den 22 november 1963 sårades Connally allvarligt när han färdades i samma bil i vilken president John F. Kennedy mördades.