לאחר שנתיים בהם שימש לונג כמנהל בית הספר של וסטפורד, מסצ'וסטס, הוא החל את לימודיו בבית הספר הרווארד למשפטים וב-1861 הוא התקבל ללשכת עורכי הדין של מסצ'וסטס. הוא החל לעסוק, ללא הצלחה, בעריכת דין בבקפילד ולאחר מכן בבוסטון והיה פעיל במיליציה של מסצ'וסטס במהלך מלחמת האזרחים. ב-1869 הוא עבר להינגהאם, מסצ'וסטס ובשנה שלאחר מכן הוא נשא לאישה את מרי וודפורד גלובר, בת המקום. לזוג נולדו שתי בנות, בנוסף לוולד נפל, עד למותה של מרי ב-1882.
פעילות פוליטית במסצ'וסטס.
לונג החל את מעורבותו בפוליטיקה ברמה המקומית של בינגהאם ב-1870. במרכז השקפותיו הפוליטיות עמדה ההתנזרות ממשקאות חריפים. ראשית דרכו הפוליטית הייתה במידת מה במסגרת עצמאית. הוא תמך ברפורמיסט, חבר המפלגה הרפובליקנית בנג'מין בטלר בהתמודדותו לתפקיד מושל מסצ'וסטס ב-1871. מאוחר יותר אותה שנה הוצעה לו מועמדות מטעם המפלגה הדמוקרטית למושב בבית הנבחרים של מסצ'וסטס, אך הוא לא נבחר. גם ב-1872, כשהיה מועמד הן מטעם הדמוקרטים והן מטעם הרפובליקנים הרפורמיסטים, הוא הפסיד. לאחר מכן הוא היה לתומך איתן יותר של הרפובליקנים, שכן הוא היה משוכנע שרפורמה תושג בצורה טובה יותר במסגרת המנגנון המפלגתי.
ב-1874 היה לונג יושב הראש של הוועידה הרפובליקנית של מסצ'וסטס ולבסוף זכה במושב בבית המחוקקים של המדינה. הוא יצר קשר קרוב ליושב ראש הבית, ג'ון סנפורד, ובמה שההיסטוריון ג'יימס הס מתאר כמהלך פוליטי מחושב, הוא תמך במי שנבחר בהצלחה כמושל ב-1875, אלכסנדר רייס, אף על פי שזה האחרון תמך בחקיקה ליברלית בנוגע למכירת משקאות חריפים שלונג התנגד לה. הוא הצליח להפיק תועלת מתמיכה זו וכתוצאה ממנה להיבחר כיושב ראש בית הנבחרים ב-1876. הוא הרחיב את גישתו הרפורמיסטית לרמה הלאומית כאשר הוא תמך בבנג'מין בריסטו כאשר זה התמודד בחוסר הצלחה על מועמדות המפלגה הרפובליקנית לנשיאות.
סגן מושל מסצ'וסטס.
ב-1878 התמודד לונג ללא הצלחה מול המושל המכהן רייס. כאשר הכריז רייס על פרישתו בשנה שלאחר מכן, שאף לונג שוב לקבל את המועמדות לתפקיד המושל. מי שנבחר בסופו של דבר היה סגן המושל הקודם, תומאס טלבוט, ולונג נבחר כסגנו. האופוזיציה של הדמוקרטים הייתה חלוקה בנוגע לשובו של בנג'מין בטלר אל המפלגה, והרפובליקנים ניצחו בבחירות הכלליות. לונג ניצל את הימנעותו של טלבוט מכנסי בחירות פומביים כדי לשמור על פרופיל גבוה. הוא הצליח להשיג בקלות את המועמדות לתפקיד המושל לאחר שטלבוט הודיע שהוא לא יתמודד לכהונה נוספת, על אף חוסר התמיכה ממנהיגות המפלגה. מערכת הבחירות גרמה למחלוקת קשה, והוא התמודד מול בטלר והדמוקרטים המפולגים. על לונג נמתחה ביקורת על כך שלא שירת במלחמת האזרחים והוא הותקף על כך שחרג מהקו האידאולוגי של המפלגה, אך הוא ניצח בקלות. בשנתיים הבאות הוא נבחר מחדש בהפרשים ניכרים.
מושל מסצ'וסטס.
תקופת כהונתו של לונג כמושל תוארה על ידי ההיסטוריון פ. א. מ. טיילר כנטולת אירועים באופן יחסי. הוא ציין כמה רפורמות צנועות, כולל הרחבה מסוימת של זכות הבחירה לנשים (שהוגבלה אז להצבעה עבור ועדות החינוך). רוב הרפורמות לא יושמו במהלך תקופת כהונתו של לונג, אף על פי שכמה מהן הפכו לחוק בידי יורשיו. הוא הקפיד לשמור על סדר יום מלא ונכח בכל האירועים האזרחיים במדינה.
באחד מצעדיו האחרונים כמושל, מינה לונג את אוליבר ונדל הולמס הבן לבית המשפט העליון של מסצ'וסטס. מינוי ברווז צולע זה התבצע כתוצאה מהתפטרותו הפתאומית של אוטיס לורד, רפובליקני שהתפטר כדי למנוע את האפשרות למינוי על ידי המושל הנבחר הדמוקרטי, בנג'מין בטלר. המינוי בוצע ב-8 בדצמבר 1882, היום האחרון בתקופת כהונתו של לונג בו התכנסה מועצת המושל של המדינה (הגוף שאישר את המינוי).
חבר בית הנבחרים.
באותה שנה נבחר לונג לבית הנבחרים של ארצות הברית ושם הוא כיהן עד 1889, לאחר שסירב להציג את מועמדותו מחדש בבחירות של 1888. ב-1886 עודד אותו הנרי קבוט לודג' להתמודד על מושב בסנאט של ארצות הברית, אף על פי שתמיכתו זו של לודג' בלונג הייתה ככל הנראה חלק מתחבולה לבדוק את כוחה של מנהיגות המפלגה במסצ'וסטס. ברגע האחרון הסיר לודג' את תמיכתו בלונג ותחת זאת העביר אותה להנרי ל. דווז שנבחר בסופו של דבר. תקרית זו גרמה לקירור היחסים בין לודג' לבין לונג. בהתדיינויות שקדמו לבחירות לסנאט, הוצעה ללונג על ידי בטלר תמיכתה של המפלגה הדמוקרטית, אך הוא סירב, בהאמינו שתמיכה שכזאת עלולה הייתה להראות כעסקה פוליטית בלתי ראויה.
מבחינתו של לונג הייתה תקופת כהונתו בקונגרס נטולת אירועים מיוחדים, שכן הקונגרס היה בשליטה דמוקרטית במשך שש שנות כהונתו. בנוסף לשידול הממשל למנות מינויים פרסונליים, הוא היה חבר בוועדה שבחנה את האינטרסים של בניית הספינות ובעלי הספינות, וכן בוועדות שעסקו בפנסיות של הצי ובמימון שלו. ב-1886 נישא לונג בשנית לאגנס פריס, מורה ובתו של כומר אוניברסליסטי. שנה לאחר נישואיהם נולד להם בן.
ב-1888 החליט לונג לא להתמודד שוב לקונגרס והוא בילה את שמונה השנים הבאות בעריכת דין במגזר הפרטי. הוא ייצג בדרך כלל חברות עסקיות והוא הופיע בשמן בבתי משפט וכן בדיונים של ועדות של בית המחוקקים. הוא היה נואם מבוקש, עיסוק שהוא היה מעורב בו במשך שנים רבות. הוא המשיך להיות מעורב במידה מסוימת במפלגה הרפובליקנית, ותמך במועדון הרפובליקנים הצעירים של רוג'ר וולקוט, שמטרתו הייתה הכנסת דם צעיר וחדש למפלגה. כאשר הוצע לו להתמודד מול הסנאטור הרפובליקני הוותיק ג'ורג' פריסבי הואר, הוא סירב. ב-1889 הוא מונה לוועדה שפיקחה על הגדלת בית הנבחרים של מסצ'וסטס, תפקיד אותו הוא מילא עד 1897.
מזכיר הצי.
כחבר הקונגרס, התיידד לונג עם ויליאם מקינלי שב-1896 נבחר כנשיא ארצות הברית. הוא בחר בלונג לתפקיד מזכיר הצי של ארצות הברית. המינוי אושר על ידי הסנאט ב-2 במרץ 1897 וגרם לביקורת סוערת מצדו של הנרי קאבוט לודג'. לודג' נבחר לסנאט, היה הבולט מבין חברי המפלגה הרפובליקנית במסצ'וסטס, וציפה שתהיה לו השפעה על בחירת המועמדים למשרות בקבינט כתגמול על תמיכתו במקינלי. אחד מתומכיו של לודג' הלין על כך שבריאותו של לונג הייתה רופפת ושהוא יהיה חסר עמוד שידרה ונמרצות (לונג פרש מעיסוקו בעריכת דין בשל התמוטטות עצבים).
היחסים עם רוזוולט.
כדי לרצות את לודג', מונה לעוזר מזכיר הצי תאודור רוזוולט, ניו יורקי עז מצח ואגרסיבי. לונג ורוזוולט לא הסתדרו איש עם רעהו. בנוסף להבדלי האישיות, קידם רוזוולט באגרסיביות השקפה על פיה יש לחדש ולהרחיב את הצי, זאת מול גישתו המלומדת והשמרנית יותר של לונג. הוא העדיף להרחיב את הצי, אך בהדרגה. עם הרחבת האינטרסים העולמיים של ארצות הברית, הקדיש לונג את עצמו לצמיחתה השלווה של האומה לאור מדיניותו של הנשיא מקינלי. כתוצאה מאי-הסכמותיו עם רוזוולט, נקט לונג בצעדים לריסונו. מאידך, רוזוולט שאף למצוא דרכים להמריץ את לונג. הוא כתב, "אני רק מקווה שאוכל להרעיל את מוחו כדי שיהיה לו עוד קורטוב של תוקפנות בעניינים בינלאומיים". הוא גם התקומם נגד מדיניותו של לונג להאציל חלק ניכר מעבודת מחלקת הצי לראשי המשרדים הקבועים, וכתוצאה מכך הוגבל שטף המידע שהממשל קיבל. לונג היה גאה במידה מסוימת מהעובדה שהוא היה מצוי מעט מאוד בפרטים של פעילות המחלקה והעיר שהוא היה "אזרח שלא יודע דבר על הספינה מחרטום ועד ירכתיים".
מלחמת ארצות הברית-ספרד.
לונג האמין שהעימותים המתמשכים עם ספרד לא יובילו בהכרח למלחמה, ואם כן, ארצות הברית תנצח בה בקלות. כתוצאה מכך הוא לא נקט בצעדים משמעותיים להכנת הצי למצב שכזה. בינואר 1898 הוא הורה לסיירת המשוריינת "מיין" (USS Maine) להפליג להוואנה, קובה, במסגרת "ביקור שגרתי". הוא והנשיא מקינלי היו טרודים בנוגע לביטחונם של האמריקאים שעל האי בשל מלחמתה המתמשכת של קובה לעצמאות. בראשית פברואר הגיעה המתיחות לרמה של משבר ולונג נאלץ להתחיל להתוות תוכניות למלחמה. הפיצוץ שגרם להטבעתה של ה"מיין" בהוואנה ב-15 בפברואר היה הניצוץ שגרם לפריצתה של מלחמת ארצות הברית-ספרד. הממשל הביע התנגדות למלחמה, אך לא ניתן היה להתעלם מהמחאה הציבורית בנוגע לתקרית בהוואנה. עשרה ימים לאחר טביעת ה"מיין", לקח לונג יום חופש, ורוזוולט עשה שימוש בסמכותו, בהיעדרו של לונג, כדי להורות על מספר צעדים שנועדו להגביר את המוכנות של הצי למלחמה, כולל ההוראה המפורסמת שהוא נתן לקומודור ג'ורג' דיואי להציב כוח תקיפה מול הפיליפינים. לונג ביטל לאחר מכן כמה מההוראות של רוזוולט, אך החל להאיץ את הכוננות של הצי לקראת המלחמה.
אובדן ה"מיין" הדגיש לממשל את המחסור באוניות מלחמה מודרניות, והוא החל בטירוף של רכישה של ספינות נוספות. הוראה משמעותית אחת שניתנה על ידי לונג הייתה העברת ה"אורגון" (USS Oregon), אחת משתי הספינות רבות העוצמה של הצי, מהחוף המערבי אל הקריביים. הספינה ה"אורגון" הפליגה מסן פרנסיסקו, דרך כף הורן אל קי ווסט ב-66 ימים. באפריל 1898 הוכרזה המלחמה. חודש לאחר מכן התפטר רוזוולט מתפקידו, צעד שלונג סבר שהיה טפשי, אך מאוחר יותר הוא הבין שהוא היה משמעותי בהתקדמות הקריירה של רוזוולט.
לונג ניהל את פעולות הצי לכל אורך המלחמה, ובמהלכה הגדיל את כוחו באופן משמעותי. הוא הורה לדיואי לנטרל את הצי הספרדי בפיליפינים, הורה להטיל מצור ימי על גואם הספרדית ופעל לחזק את המצור ואת פעולות התקיפה כנגד קובה. הוא גם הציב את משאבי הצי בעמדת איום כנגד ספרד היבשתית כדי לגרום לספרדים להשיב את הכוח הימי שיעדו היה הפיליפיני לשוב על עקביו.
לאחר המלחמה.