עם שחרורו מהצי החל קונלי לעסוק בעריכת דין במשרדו של אלווין וירץ, עד אשר לינדון ג'ונסון, שנבחר אז כסנאטור, שכנע אותו לעבור לוושינגטון די. סי. כדי לשרת כעוזרו הראשי. קשריו ההדוקים עם ג'ונסון החלו עוד לפני שירותו בצי והם נמשכו עד לפטירתו של ג'ונסון ב-1973.
קריירה משפטית.
שניים מלקוחותיו העיקריים של קונלי כעורך דין היו טייקון הנפט הטקסני, סיד ריצ'רדסון ופרי בס, אחיינו ושותפו של ריצ'רדסון, שניהם מפורט וורת'. שווי האימפריה הכלכלית של ריצ'רדסון הוערכה בשנות ה-50 ב-200 מיליון עד מיליארד דולר. בהדרכתו של ריצ'רדסון, צבר קונלי ניסיון במגוון של מיזמים וקיבל ממנו עצות בנוגע לרכישות מקרקעין. עבודה זו דרשה ממשפחת קונלי להעתיק את מגוריה לפורט וורת'. כאשר נפטר ריצ'רדסון ב-1959 קיבל קונלי על עצמו להיות אחד ממנהלי העיזבון שלו, משימה שהכניסה לו כספים לא מועטים.
קונלי גם היה מעורב בעסקה החשאית להציב את הדמוקרט הטקסני רוברט ברנרד אנדרסון כמועמד לסגן הנשיא בבחירות לנשיאות של 1956. צעד זה לא צלח כאשר העדיף הנשיא אייזנהאואר להמשיך כהונה נוספת כשלצידו יכהן סגנו ריצ'רד ניקסון, ואנדרסון מונה בסופו של דבר כמזכיר האוצר בקבינט של אייזנהאואר, אותו תפקיד שמילא קונלי בקבינט של ניקסון 14 שנים לאחר מכן ב-1971. בצירוף מקרים, אנדרסון היה עוד קודם לכן מזכיר הצי של אייזנהאואר, תפקידו אותו מילא קונלי בממשלו של קנדי ב-1961.
מזכיר הצי.
בוועידה הארצית של המפלגה הדמוקרטית שהתקיימה בלוס אנג'לס ב-1960, הוביל קונלי את תומכיו של הסנאטור לינדון ג'ונסון. הוא טען שאם קנדי, אם יזכה במועמדות המפלגה לנשיאות, לא יוכל לכהן תקופת כהונה מלאה כנשיא בשל מחלת אדיסון ממנה סבל והתלות שלו בקורטיזון כתוצאה ממנה. עם זאת, קנדי השיג את קולותיהם של הנציגים הדרושים למינוי עוד לפני פתיחת הוועידה. קנדי הבין שלא יעלה בידו להיבחר ללא תמיכתם של הדמוקרטים בדרום, שרובם תמכו בג'ונסון. לפיכך הוא הציע את משרת סגן הנשיא לג'ונסון.
עם בחירתו לנשיאות, מינה קנדי את קונלי, לבקשתו של ג'ונסון, כמזכיר הצי. 11 חודשים לאחר מכן התפטר קונלי מתפקיד זה כדי להתמודד על משרת מושל טקסס. במהלך תקופת כהונתו כמזכיר הצי, עמד לרשותו של הצי תקציב של 14 מיליארד דולר, וסגל של יותר מ-1.2 מיליון איש, 600,000 לובשי מדים ו-650,000 אזרחים, שהוצבו ב-222 בסיסים בארצות הברית ו-53 בסיסים מחוץ לגבולותיה.
קונלי הנחה את הצי השישי בים התיכון לנהל סוג חדש של "דיפלומטיית תותחים". במסגרת מדיניות זו עגנה נושאת המטוסים "פורסטל" (USS Forrestal) בנאפולי שבאיטליה וצוותה חילק מתנות לילדים בבית יתומים מקומי. קונלי גם הורה על חלוקת מתנות בבית חולים בקאן שבצרפת שטיפל בילדים שסבלו ממחלות בעצמות, לילדים עניים באי רודוס ולילדים חולים בפלרמו שבסיציליה. מתנות נשלחו גם לילדים טורקיים בקפריסין ולפליטים פלסטינים בביירות. בתקופת כהונתו כמזכיר הצי אירעה הפלישה למפרץ החזירים.
קונלי נאבק קשות להבטיח את חלקו של הצי בתוכנית החלל האמריקאית, והתנגד נחרצות להקצאת רוב משימות המחקר לחיל האוויר. המגזין טיים הגדיר את שנתו של קונלי במחלקת הצי כ"מינוי מהשורה הראשונה". עם זאת, המבקרים ציינו שמשכה הקצר של כהונתו של קונלי כמזכיר הצי מנעה את השגתם של הישגים לטווח ארוך.
הבחירות למשרת מושל טקסס.
שבועיים לפני חג המולד של 1961 הודיע קונלי על התפטרותו מתפקיד מזכיר הצי כדי לשוב לטקסס ולהתמודד על מועמדות המפלגה הדמוקרטית למשרת מושל טקסס ב-1962. הוא היה אמור להתמודד מול פרייס דניאל, שהיה אז המושל המכהן מאז 1957. דניאל נקלע לקשיים פוליטיים בעקבות הנהגתו באותה שנה של מס מכירה בשיעור של שני סנטים, שעורר רגשות מרמור של מצביעים רבים כלפי הממשל. דניאל יכול היה להנהיג את המס בחוק ללא חתימתו, אך באפשרותו היה להטיל על החוק וטו. התובע הכללי לשעבר של טקסס, ויל וילסון, שהתמודד על המושב של טקסס בסנאט שהתפנה בעקבות בחירתו של לינדון ג'ונסון כסגן הנשיא ב-1961, נעשה גם הוא מעורב במערכת הבחירות למושל ומתח ביקורת במיוחד על ג'ונסון, שלטענתו הוא ארגן את מועמדותו של קונלי. מועמדים עיקריים נוספים היו נציב הכבישים מרשל פרומבי מפליינויו, שנמנה גם הוא על אנשי האגף השמרני במפלגה, וגנרל אדווין ווקר שהציר המרכזי של מערכת הבחירות שלו הייתה מערכה אנטי-קומוניסטית. קונלי עצמו ניהל את מערכת הבחירות הפעילה ביותר מבין אלו של כל המועמדים הדמוקרטים, והוא ערך נסיעות במרחק מצטבר של יותר מ-35,000 ק"מ ברחבי המדינה. הוא נשא 43 נאומים מרכזיים והופיע במשדרי טלוויזיה כלל-מדינתיים ומקומיים.
קונלי התמודד בבחירות כאיש האגף השמרני של המפלגה הדמוקרטית. בסבב הבחירות הסופי הוא מוקם מול עורך הדין הליברלי מיוסטון, שזכה לתמיכת איגודי העובדים, דון ירבורו (ללא קשר משפחתי ליריבו משכבר הימים במפלגה של קונלי, הסנאטור ראלף ירבורו). לאחר שניצח את ירבורו בהפרש קטן בסבב ההצבעה האחרון, היה על קונלי להתמודד מול הרפובליקני השמרן ובעל חברת ציוד הנפט, ג'ק קוקס. קוקס, לשעבר חבר בית הנבחרים של טקסס התמודד שנתיים קודם לכן בבחירות המקדימות של המפלגה הדמוקרטית מול דניאל. בבחירות הכלליות זכה קונלי ל-847,036 קולות (54%) מול 715,025 הקולות (45.6%) של קוקס. במערכת הבחירות התמקד קונלי בעובדה ששנה קודם לכן עבר קוקס מהמפלגה הדמוקרטית אל המפלגה הרפובליקנית, אך 11 שנים לאחר מכן נקט קונלי באותו צעד. בסופו של דבר התברר שקוקס היה המועמד החזק ביותר של המפלגה הרפובליקנית בטקסס מאז 1924 ורק ב-1972 עלה בידיו של הנרי גרובר להציג תוצאות טובות יותר עבור הרפובליקנים, אם כי גם אז הוא הפסיד בבחירות.
קונלי היה אומן בניהול מערכות בחירות, לאחר שהיה בעל תפקיד מרכזי בכמה ממערכות הבחירות של ג'ונסון. הוא האמין באנשי צוות הקמפיין שלו, שדאגו לקבל מידע על אירועים ולהעלות אותו לראיונות בתקשורת כדי להציג נושאים שהיו על סדר היום של מערכת הבחירות שלו.
מושל טקסס.
קונלי כיהן כמושל טקסס בין השנים 1963–1969. במערכות הבחירות של 1964 ו-1966 הוא הביס את מועמדי המפלגה הרפובליקנית שהיוו עבורו אתגר קל, ג'ק קריצ'טון, איש תעשיית הנפט מדאלאס, ותומאס אברטון קנרלי האב מיוסטון, בהתאמה. את ניצחונותיו במערכות בחירות אלו הוא השיג ברוב של 73.8% ו-72.8%, בהתאמה, וכך הוא השיג השפעה חזקה במדינה כשבבית המחוקקים של המדינה נהנתה המפלגה הדמוקרטית מרוב כמעט מוחלט.
קולני היה המושל במהלך ההרחבה המשמעותית של החינוך הגבוה בטקסס. הוא חתם על חוק להקמת מועצת התיאום של החינוך הגבוה בטקסס. הוא מינה לאוניברסיטת טקסס A&amp;M חברים במועצת הניהול שלה שגיבו את כניסתן של נשים לאוניברסיטה שהייתה מוגבלת עד אז לגברים בלבד, זאת בעידודו של חבר הסנאט של טקסס, ויליאם מור, שעוד ב-1953 העלה לראשונה את הרעיון להתיר לנשים להתקבל למוסד. ב-1965 מינה קונלי את יושב ראש בית הנבחרים של טקסס, ביירון טאנל, כנציב הרכבות של טקסס, עם פרישתו לאחר 32 שנים של ראש עיריית אמרילו לשעבר, ארנסט תומפסון. מינוי זה אפשר לשותפו לעסקים לעתיד של קונלי, בן ברנס, לרשת את טאנל ולהיות הצעיר מבין יושבי ראש הבית לדורותיהם.
כמושל קידם קונלי את התערוכה העולמית HemisFair '68, שנערכה בסן אנטוניו, שהוא האמין שתכניס למדינה 12 מיליון דולר נוספים במיסים ישירים. תוצר לוואי של התערוכה הייתה הקמתו של מוזיאון קבוע לתרבות טקסס. המוזיאון עוצב כ"תיבת תצוגה דרמטית, לא רק עבור הטקסנים, אלא עבור כל העולם, של שלל התרבויות המגוונות מארצות רבות שדמם וחלומותיהם בנו את מדינתנו".
ב-1968 דובר על כך שקונלי ייבחר כשותפו למרוץ של יוברט האמפרי בבחירות לנשיאות שנערכו באותה שנה, אך בסופו של דבר נבחר הסנאטור הליברלי אדמונד מאסקי ממיין. קונלי הביע את תמיכתו בהאמפרי ובירך את המועמד בנמל התעופה פורט וורת' ואף התפייס למשך חודש עם יריבו במפלגה ראלף ירבורו. עם זאת, הביוגרף של קונלי, צ'ארלס אשמן, טוען שקונלי "סייע בחשאי לניקסון, גייס מספר ניכר של טקסנים בעלי השפעה, חברי שתי המפלגות, לפעול למען המועמד הרפובליקני". בן ברנס נזכר בסיפור על פיו קונלי צרח על יוברט האמפרי בפגישה אישית שהתקיימה במהלך הוועידה הלאומית של המפלגה הדמוקרטית שהתקיימה בשיקגו ב-1968 והאשים את סגן הנשיא בחוסר נאמנות לנשיא ג'ונסון כאשר ניסה לרכך את עמדתו של הנשיא ג'ונסון בנוגע למלחמת וייטנאם. ברנס אמר ש"הצלפת הלשון" של קונלי כלפי האמפרי הייתה "שיר הלל... הוא הכה אותו בישבן באופן מילולי באופן הכי חזק שראיתי מימי מישהו מעניש את זולתו. הוא חיזק את עמוד השדרה של יוברט, או נתן לו אחד, או הפחיד אותו למוות".
לאחר תום כהונתו של קונלי כמושל, נבחר במקומו סגנו פרסטון סמית', שהביס פעמיים את עורך הדין הרפובליקני, פול איגרס ב-1968 וב-1970. איגרס, ידיד ובהמשך שותף של הסנאטור הרפובליקני ג'ון טאוור, שימש כיועץ המשפטי במחלקת האוצר בשנים 1969–1970 לפני שקונלי הצטרף לקבינט של ניקסון.
רצח קנדי.