עם זאת, ניצנים להתנגדותו למלחמה, שהחלו עוד בתחילתה, לא השתנו – כפי שניכר ממכתבים ששלח למקורביו בארצות הברית. לאחר פציעתו השלישית במלחמה, הוחזר קרי להמשך השירות בארצות הברית, אך מוין מחדש בתפקיד עורפי. בחירתו המועדפת הייתה לשרת בצבא כעוזר לדרג הצבאי הבכיר בבסיס חיל הים בברוקלין.
מיד לאחר נישואיו ב-1971 החל את פעילותו הציבורית נגד המלחמה, והיה מראשי ארגון חיילים משוחררים נגד המלחמה. הוא התפרסם בעדות שנתן בפני ועדה של הסנאט בה תיאר עדויות שהארגון אסף מווטרנים על זוועות מלחמה אותם ביצעו. הוא היה ממארגני ההפגנה בה וטרנים השליכו את המדליות שבהן עוטרו מול בניין הקפיטול בוושינגטון די. סי.. במהלך פעילותו זו זכה לתשומת לב של התקשורת, ובריאיון בתוכנית "60 דקות" אף נשאל האם הוא חושב אי פעם להיות נשיא ארצות הברית. על פעילותו של קרי נגד מלחמת וייטנאם נמתחה גם ביקורת קשה. נטען כי הביא עדויות לא מוכחות וכי השמיץ שלא בצדק את צבא ארצות הברית, וכן ספג ביקורת מבוגרי מלחמה.
קריירה פוליטית מוקדמת.
ב-1972 התמודד קרי על מקום בבית הנבחרים האמריקאי אך הפסיד למועמד הרפובליקני. בין השנים 1973 ו-1976 למד משפטים, ואחרי סיום לימודיו היה עוזר תובע, ואחר כך פתח משרד עצמאי. בשנת 1982 נבחר כסגן המושל (תחת מייקל דוקאקיס), ובשנת 1984 נבחר לסנאט האמריקני מטעם מסצ'וסטס, ומאז נבחר מחדש שוב ב־1990, 1996, 2002 ו-2008.
סנאטור מטעם מסצ'וסטס (1985–2004).
החל מתחילת כהונתו בסנאט שירת בוועדה לקשרי חוץ, אשר נחשבת ליוקרתית - דבר חריג לסנאטור חדש. קרי בלט בשימועים בעניין פרשת איראן־קונטראס שנערכו בוועדה, ואף פרסם דו"ח משלו בעניין. הוא עמד גם יחד עם הסנאטור הרפובליקני ג'ון מקיין בראש ועדה לבדיקת סוגיית הנעדרים והשבויים ממלחמת וייטנאם, ואחרי סיום עבודתה תמכו השניים בנירמול הקשרים בין ארצות הברית לווייטנאם.
במהלך כהונתו הארוכה קרי לא בלט ביוזמות חקיקה. רקורד ההצבעות שלו נחשב שמאלי ("ליברלי" בעגה אמריקנית). בין השאר הצביע נגד היציאה למלחמת המפרץ.
בשיאו של המירוץ הדיפלומטי של קרי כמזכיר המדינה, במהלכו ביקר לעיתים תכופות בישראל ובאירופה וטיפול בנושא תוכנית הגרעין האיראנית, התיישב האחרון לראיון שנערך בראשית 2014 עם הרשת CNN, והבהיר באופן חד משמעי כי אין בכוונתו לרוץ פעם נוספת לנשיאות ארצות הברית, והזכיר באותה נשימה כי הוא נשלח למלא את תפקידו על ידי הנשיא ברק אובמה למען שירות האומה האמריקאית, וכך הוא מתכוון לעשות ולשמש כמזכיר המדינה עד סיום הקדנציה. באותה עת גם הזכיר כי מחלקת המדינה היא תחנתו האחרונה בחייו הפוליטיים, ושבכוונתו לפרוש מהם בעת סיום כהונתו.
המירוץ לנשיאות ארצות הברית (2004).
בשנת 2003 הכריז על מועמדותו לנשיאות ארצות הברית. בתחילה היה המועמד המוביל לקראת הבחירות המקדימות. הוא הדגיש את ניסיונו הצבאי הקרבי, בייחוד לאור חוסר הניסיון הצבאי הן של המועמדים הדמוקרטיים האחרים (למעט הגנרל וסלי קלארק) והן של בוש. עם התחזקותו של הווארד דין החלה מועמדותו להיחלש. בתקופה זו, בה המלחמה בעיראק הגיעה לשפל בפופולריות שלה, פגעו בו העובדה שהצביע בסנאט בעד הענקת יד חופשית לג'ורג' בוש (הבן) לצאת למלחמה, והתפתלויותיו בניסיון להסביר את הצבעתו זו.
אולם בימים האחרונים לפני הבחירות הראשונות באיווה הוא שב במפתיע להוביל את המירוץ, בין השאר בזכות ותיק מלחמה שאת חייו הציל קרי בווייטנאם, ושנרתם עתה למען מסע הבחירות שלו. קרי זכה באיווה ב-38% מהקולות, כשאחריו ג'ון אדוארדס עם 32% והווארד דין עם 18%. ניצחון זה נתן תנופה אדירה למסע הבחירות שלו, שכבר נראה אבוד ימים ספורים לפני כן. בעזרת התנופה מאיווה זכה בבחירות המקדימות בניו המפשייר עם 39% מהקולות, לפני דין עם 26%. מאז ניצח בבחירות המוקדמות בכל המדינות למעט קרוליינה הדרומית, בה ניצח ג'ון אדוארדס, אוקלהומה בה ניצח וסלי קלארק, וורמונט בה זכה הווארד דין. ב"סופר טיוסדיי" ב־2 במרץ זכה למעשה במועמדות המפלגה הדמוקרטית, אחרי שניצח בתשע מתוך עשר המדינות בהן נערכו בחירות ביום זה, דבר שגרם לג'ון אדוארדס לפרוש מהמירוץ.
קרי בחר את אדוארדס כמועמד למשרת סגן הנשיא, ויחד הם התמודדו מול ג'ורג' בוש ודיק צ'ייני. הסתבכותו של בוש בעיראק עמדה לו לרועץ, ונראה היה שגם דעותיו השמרניות בנושאים שונים, בהם מחקר בתאי גזע עובריים, יפגעו בו בקלפי. מערכת הבחירות כללה השמצות אישיות, ועלה נושא מלחמת וייטנאם בה שירת קרי, וממנה בוש התחמק (לדבריהם של מבקריו). כנגד קרי נטען כי אף על פי שהשתתף במלחמת וייטנאם, הרי בפעילותו אחריה השמיץ את הלוחמים האמריקאים בפשעי מלחמה, ובכך מכר את חבריו לנשק בעבור רווח פוליטי. במסגרת המסע שניהלו נגדו, הפיצו מתנגדיו תמונה מזויפת שבה נראה קרי יחד עם פעילת השלום ג'יין פונדה בעצרת מחאה נגד מלחמת וייטנאם. קרי הפסיד במערכה, על אף שזכה למספר קולות רב מאוד, מספר שתיים עד אותה עת בהיסטוריה של מערכות בחירות לנשיאות ארצות הברית. בוש, עם כ-62 מיליון קולות, בהפרש של 3 מיליון קולות מקרי, נבחר לכהונה שנייה בבית הלבן.
המשך כהונתו בסנאט (2004–2013).
קרי המשיך לכהן בסנאט, וב-2008 נבחר לכהונה נוספת. אחרי הבחירות ירש את הסנאטור מדלאוור ג'ו ביידן, שנבחר לסגן הנשיא, כיושב ראש ועדת יחסי החוץ של הסנאט.
מזכיר המדינה (2013–2017).
ב-21 בדצמבר 2012 הודיע נשיא ארצות הברית ברק אובמה כי בכוונתו להביא למינויו של קרי למזכיר המדינה. וב-29 בינואר 2013 אישר הסנאט את מינויו של קרי. קרי נכנס לתפקיד ב-1 בפברואר 2013. מכניסת קרי לתפקיד, דאג לקדם בראש ובראשונה את המשא ומתן בין ישראל לפלסטינים. קרי אף ביקר באזור פעמים רבות והפעיל לחץ כלפי ירושלים ורמאללה לחזור לשולחן המשא ומתן. בתחילה היה נראה שהלחץ מניב פירות, וב-19 ביולי 2013 הכריז על חידוש המשא ומתן בין הצדדים לאחר שלוש שנות קיפאון, אך לבסוף המשא ומתן לא הצליח ונפסק באפריל 2014.
במהלך המתקפה הכימית בע'וטה באוגוסט 2013, קידם קרי מהלך צבאי נגד משטרו של בשאר אל-אסד, נוכח "שימוש אכזרי ובוטה בנשק כימי" שנעשה על ידי השלטנות הסורים. במסיבת עיתונאים שנערכה ב-26 באוגוסט ציין קרי כי אין בכלל ספק שמתקפה כימית "בלתי נסלחת" התרחשה ב-21 באוגוסט וכי הממשל האמריקאי סבור שמשטר אסד ביצע את המתקפה. בהמשך הוביל יחד עם שר החוץ הרוסי סרגיי לברוב את פירוק הנשק הכימי בסוריה.
בספטמבר 2013 נפגש קרי עם שר החוץ האיראני מוחמד זריף בעת כינוס מעצמות ה-P5+1 (חמשת החברות הקבועת במועצת הביטחון יחד עם גרמניה), זו הייתה הפגישה הישירה בין הדרגים הגבוהים ביותר של שתי המדינות זה שש שנים, והיא הפכה אותו למזכיר המדינה הראשון שנפגש עם עמיתו האיראני מאז המהפכה האיראנית. קרי נכח והשתתף בהסכם הביניים בז'נבה והסכמות לוזאן, ושימש מרכיב מרכזי בהשגת הסכם המעצמות על תוכנית הגרעין האיראנית ביולי 2015.
באפריל 2015 נפגש קרי עם שר החוץ הקובני בוועידה שבפנמה, וזוהי הפגישה הראשונה בין שרי החוץ של המדינות מאז 1958. ב-5 במאי 2015 היה למזכיר המדינה הראשון שביקר בסומליה.
עם חידוש היחסים הדיפלומטיים בין ארצות הברית לקובה לאחר נתק של 54 שנה, שהוכרזו לראשונה על ידי הנשיא ברק אובמה בדצמבר 2014, השתתף ב-14 באוגוסט 2015 בטקס רשמי לפתיחת השגרירות האמריקאית בהוואנה. ביקורו במדינה היה הראשון של מזכיר מדינה מאז 1945.
במרץ 2021, התפרסמה בניו יורק טיימס הקלטה בה נשמע שר החוץ האיראני מוחמד זריף חושף כי קרי הדליף לו מידע על כ-200 התקפות ישראליות נגד יעדים איראניים. קרי הכחיש את הדברים. מייק פומפאו ובכירים רפובליקנים בקונגרס דרשו חקירה רשמית כנגד ג'ון קרי בעקבות הגילוי.
הסכסוך הישראלי-פלסטיני.
ב-1 באפריל 2010 ביקר קרי בסוריה, ונועד במשך שלוש שעות עם הנשיא בשאר אל-אסד. בסיום הישיבה הצהיר שסוריה מחויבת לשלום, שארצות הברית תסייע לסוריה ולטורקיה, במלחמתה נגד חזבאללה בלבנון, והשלטון הפרסי באיראן.
בשנת 2011, כמו מרבית המועמדים לתפקידים בכירים בארצות הברית, הכריז גם קרי על תמיכתו בישראל ובתהליך השלום במזרח התיכון. הוא תמך במפת הדרכים של הנשיא בוש, אך ביקר את חוסר פעילותו של הממשל כדי לקדם אותה.
קרי ביקר את הווארד דין על התבטאותו כי ארצות הברית אינה צריכה לקחת צד בסכסוך הישראלי־פלסטיני. ערב הבחירות המקדימות במדינת ניו המפשייר, אמר באספת בחירות כי הרחבת ההתנחלויות תהיה שגיאה, וכי יש לחזק את הרשות הפלסטינית כדי שתוכל לעמוד מול ארגון החמאס. כמו כן, לדבריו אין בצד הפלסטיני "מי שיספק את הסחורה" בכל הנוגע למשא ומתן עם המדיני. הוא צידד בעמדת ישראל בקשר לגדר ההפרדה ולאי־סמכות בית הדין הבינלאומי לצדק בהאג לדון בנושא.
ב-16 ביולי 2013 יצא קרי למסע למזרח התיכון, שבעקבותיו הכריז על מתווה לתוכנית שלום שארצות הברית תתמוך בה, המבטיחה שלום עם 22 מדינות ערב ועוד 32 מדינות מוסלמיות, עם יישום פתרון שתי המדינות על בסיס גבולות 1967 תוך חילופי שטחים הדדיים. בעקבות ההודעה בכירים ברשות הפלסטינית הסכימו לפתוח בתהליך שלום בתנאים אלו, ונטען כי בממשלת ישראל יש הסכמה עקרונית לכך. הדברים הוכחשו, אך בכירים בימין הישראלי הודיעו שהם יפרשו מהממשלה אם ישראל תיכנס למשא ומתן על בסיס זה. המשא ומתן בין ישראל לפלסטינים החל רשמית ביולי באותה שנה, וקרי פעל באינטנסיביות לקידומו, עד שנפסק באפריל 2014.