В 1960-м году Конналли организовывал поддержку Линдону Джонсону, который в 1961 году стал вице-президентом США, а президентом стал Джон Кеннеди. Вскоре после этого, в 1961 году Линдон Джонсон предложил Конналли на пост министра военно-морских сил США, на котором тот проработал с января по декабрь 1961 года. После этого Конналли отправился в Техас и стал претендентом на пост губернатора штата на выборах 1962 года. Победив на выборах, он был губернатором Техаса в течение шести лет, с января 1963 года по январь 1969 года. 22 ноября 1963 года он находился в одном автомобиле с президентом США Джоном Кеннеди и был ранен в спину в ходе покушения на Кеннеди той же пулей, что ранила в шею президента.