הדמוקרטים כינסו את הוועידה שלהם בשיקגו כעבור חודש ובחרו במושל גרובר קליבלנד מניו יורק. קליבלנד לא היה מוכר מדי בפוליטיקה הלאומית, אולם הדמוקרטים קיוו שהמוניטין שלו כתומך ברפורמה ומתנגד לשחיתות תמשוך רפובליקנים שהתנגדו לבליין ושזיהו אותו עם שערוריות. הם צדקו, ורפובליקנים שתמכו ברפורמה (וכונו "Mugwumps") גינו את בליין ותמכו בקליבלנד. ה-Mugwumps תמכו במוסריות ולא במפלגתיות, והרגישו שקליבלנד יוכל לקדם רפורמה בשירות הציבורי וממשלה יעילה. אולם אפילו שהדמוקרטים הצליחו להשיג את תמיכתם, הם איבדו את תמיכת הפועלים לטובת "מפלגת השטרות" של בנג'מין באטלר, מתנגדו של בליין מימיו בבית הנבחרים.
מסע הבחירות התמקד באישיותם של המועמדים, ותומכיו של כל מועמד הטילו רפש בשני. תומכי קליבלנד המשיכו להאשים את בליין במכתבי מוליגן וטענו שהיה עושה דברם של ארגוני הרכבת, ושהרוויח ממכירת איגרות חוב שהיו לו בארגונים. למרות שהשמועות לא עוררו הדים שמונה שנים קודם לכן, הפעם התגלו יותר ראיות. בליין הכיר במכתבים ששלח, אולם טען שהם לא מראים שנהג בחוסר הגינות. למרות זאת, תיאורו של בליין כמושחת השפיע על הציבור. במכתבים המפלילים יותר, כתב בליין "שרוף את המכתב", והדמוקרטים הפכו זאת לסיסמה: "בליין, בליין, ג'יימס ג'י. בליין, השקרן ממדינת מיין, שרוף את המכתב!".
כדי להתנגד למוסריותו של קליבלנד, הרפובליקנים חשפו שמועות שלקליבלנד היה בן מחוץ לנישואין בזמנו כעורך דין בבאפלו, ניו יורק, וצעקו "אמא, איפה אבא?" (לכך הגיבו הדמוקרטים, אחרי היבחרו של קליבלנד, ב"הלך לבית הלבן, חה חה חה!"). קליבלנד הודה ששילם מזונות החל מ-1874 לאימו של הילד, מריה האלפין. האלפין עצמה קיימה יחסים עם כמה גברים, כולל אוסקר פולסום, ידידו של קליבלנד, שעל שמו נקרא הילד. קליבלנד היה הרווק היחיד מבין האישים שיכלו להיות האב, ולכן לקח אחריות על כך. הדמוקרטים האשימו את בליין ואשתו בכך שלא היו נשואים כשבנם נולד ב-1851. השמועה הייתה לא נכונה ולא השפיעה על מסע הבחירות.
שני המועמדים האמינו שמדינות ניו יורק, ניו ג'רזי, אינדיאנה וקונטיקט יכריעו את הבחירות. בניו יורק, בליין קיבל תמיכה פחותה ממה שציפה לה כשארתור וקונקלינג, שעדיין שלטו במפלגה בניו יורק, לא ניהלו עבורו מסע בחירות. בליין קיווה שישיג יותר תמיכה מצד הקהילה האירית מאשר רפובליקנים אחרים: האירים תמכו בדרך כלל בדמוקרטים, אולם אימו של בליין הייתה אירית קתולית, והוא האמין שהתנגדותו לבריטים תמשוך את האירים. אולם תקוותיו התנפצו לקראת סוף מסע הבחירות, כשאחד מתומכיו נאם נאום בו גינה את המפלגה הדמוקרטית כמפלגת "רום, רומאיות ומרד". הדמוקרטים הפיצו את האמרה האנטי-קתולית לפני הבחירות, וקליבלנד זכה ברוב דחוק בכל ארבע המדינות, כולל בניו יורק, בהפרש של מעט יותר מאלף קולות. התחרות הייתה צמודה, וקליבלנד ניצח בהפרש של רבע אחוז, בעוד שבחבר האלקטורים הוא השיג 219 אלקטורים לעומת 182 לבליין.
מנהיג המפלגה בגלות.
בליין קיבל את תבוסתו, ובמשך רוב השנה לאחר מכן עבד על החלק השני של הביוגרפיה שלו. הספר הרוויח לו מספיק כסף כדי שיוכל לשלם את חובותיו. למרות שחשב על פרישה מפוליטיקה, הוא עדיין דיבר על ממשל קליבלנד. בבחירות לקונגרס ב-1886, הוא נאם לטובת המועמדים הרפובליקנים, בעיקר במיין. הרפובליקנים הצליחו במיין, ולאחר הבחירות במיין בספטמבר, בליין נאם מפנסילבניה עד טנסי, כדי לחזק את הרפובליקנים. הרפובליקנים הצליחו פחות בבחירות, ואמנם השיגו יותר מושבים בבית הנבחרים אולם איבדו מושבים בסנאט. למרות זאת, נאומיו של בליין שמרו עליו במרכז העניינים.
בליין ואשתו נסעו עם בנותיהם לאירופה ביוני 1887, כשהם מבקרים באנגליה, אירלנד, גרמניה, צרפת, אוסטרו-הונגריה וסקוטלנד, בה נשארו בקיץ. כשהיה בצרפת, כתב בליין מכתב לעיתון הניו יורק טריביון שבו ביקר את תוכניות קליבלנד להוריד את מכסי המגן, וטען שסחר חופשי עם אירופה יפגע בחקלאים ובפועלים האמריקנים. המשפחה חזרה לארצות הברית באוגוסט. המכתב של בליין חיזק את מעמדו עוד יותר, וב-1888, תיאודור רוזוולט והנרי קאבוט לודג', שהיו יריבים שלו בעברם, ביקשו ממנו לנסות להתמודד שוב מול קליבלנד. המפלגה תמכה לחלוטין בבליין.
כשהוועידה התקרבה, הכריז בליין שלא יהיה מועמדיו. תומכיו פקפקו בכך והמשיכו לעודד אותו לרוץ, אולם הוא סירב. הוא החליט להבהיר את עצמו, לעזוב את המדינה ולהישאר בסקוטלנד כשהוועידה הרפובליקנית התכנסה בשיקגו. חבריו ביקשו ממנו להסכים לרוץ אם הוועידה תבחר בו, אולם הצירים קיבלו את סירובו. ג'ן שרמן נחשב למועמד הבולט שיכול היה להחליף את בליין, אולם תומכי בליין העדיפו את הסנאטור לשעבר בנג'מין הריסון מאינדיאנה לאחר שמברק חשף שבליין תומך בו. בליין חזר לארצות הברית באוגוסט, וביקר את הריסון בביתו באוקטובר, כש-25,000 תושבים צעדו לכבודו. הריסון ניצח את קליבלנד בבחירות צמודות, והציע לבליין לחזור לתפקיד מזכיר המדינה.
מזכיר המדינה, 1889-1892.
הריסון פיתח את מדיניות החוץ שלו לפי בליין, ובתחילת כהונתו, היו להם השקפות דומות בנוגע למקומה של ארצות הברית בעולם. למרות זאת, הם הסתכסכו ככל שכהונתם נמשכה. הריסון חשד שבליין היה אהוד יותר ממנו, ובעוד שהעריך את כישוריו הדיפלומטיים של בליין, הוא כעס מהיעדרויותיו של בליין בעקבות מחלה, וחשד שבליין מנסה להיבחר להיות המועמד ב-1892. הריסון ניסה להגביל את מספר תומכי בליין במחלקת המדינה. למרות הבעיות האישיות, השניים המשיכו לשתף פעולה בנושאי חוץ.
דיפלומטיה באוקיינוס השקט.
בליין והריסון רצו לראות את כוחה של אמריקה ואת הסחר האמריקני גדלים באוקיינוס השקט ורצו להקים נמלים בפרל הארבור, הוואי וסמואה. כשבליין נכנס לתפקידו, ארצות הברית, בריטניה והקיסרות הגרמנית נאבקו על זכויותיהן בסמואה. תומאס בייארד, קודמו של בליין בתפקיד, הסכים להגיע לברלין לוועידה משולשת כדי לפתור את הסכסוך, ובליין מינה נציגים אמריקנים. התוצאה הייתה הסכם שחילק את אזורי ההשפעה בין המעצמות, והרשה לכולן גישה לנמל.
בהוואי, עבד בליין כדי ליצור קשרים בין הממלכה לארצות הברית ולמנוע ממנה להפוך לשטח חסות בריטי. כשויליאם מקינלי העביר מכס ב-1890, שהעלה את המכסים על סוכר, מגדלי הסוכר בהוואי ביקשו לשמור על גישתם הבלעדית לשוק האמריקני. השגריר בהוואי ניסה להגיע להסכם סחר עם ארצות הברית, אולם בליין הציע שהוואי תהפוך לשטח חסות אמריקני. המלך סירב לכך. בליין מינה את חברו מימיו כעיתונאי, ג'ון סטיבנס, כשגריר בהוואי. סטיבנס האמין שעל ארצות הברית לספח את הוואי, ועבד עם האמריקנים בהוואי כדי להגיע לכך. ניסיונותיהם הובילו להפיכה כנגד מלך הוואי ב-1893. הממשלה החדשה ביקשה מארצות הברית לספח את הוואי, אולם אז בליין כבר לא היה בתפקידו.
אמריקה הלטינית ואיחוד מכסים.
לאחר כניסתו לתפקיד, ניסה בליין שוב לכנס ועידה של מדינות חצי הכדור המערבי. התוצאה הייתה ועידה בינלאומית של מדינות אמריקה, שהתכנסה בוושינגטון ב-1890. בליין והריסון תלו תקוות בוועידה, כולל איחוד מכסים, מסילת רכבת שתחצה את היבשת, והליכי בוררות שיסיימו סכסוכים בין המדינות. מטרתם הייתה להרחיב את ההשפעה הפוליטית והמסחרית של ארצות הברית. המדינות האחרות הבינו זאת ולא רצו להעמיק את קשריהן עם ארצות הברית על חשבון המעצמות האירופאיות. בליין טען שעניינו היחיד היה להגביר את הסחר, ולא להשיג עוד שטח למדינה, אולם באופן פרטי כתב להריסון על רצונו לספח את הוואי, קובה ופוארטו ריקו.
הקונגרס לא התלהב מאיחוד המכסים כמו בליין והנשיא, אולם לבסוף המכסים על סחר פנים-אמריקני הופחתו במקצת. המטרות שבליין הציב לעצמו לא הושגו, אולם הוועידה הובילה לבסוף להקמת ארגון מדינות אמריקה.
ב-1891, משבר דיפלומטי התחולל בצ'ילה, והפריד בין הריסון ובליין. השגריר האמריקני בצ'ילה, חבר של בליין, העניק מקלט לצ'יליאנים שביקשו מקלט במהלך מלחמת האזרחים במדינה. צ'ילה כבר חשדה בבליין מאז שניסה לפייס במלחמת האוקיינוס השקט, והתקרית הובילה לכך שחשדו בו אף יותר. כשמלחים מבולטימור חנו בצ'ילה, התחולל קרב, שהוביל למותם של שני מלחים ולמעצר של שלושים נוספים. כשהחדשות הגיעו לוושינגטון, בליין היה בחופשת מחלה והריסון עצמו דרש פיצויים. שר החוץ הצ'יליאני טען שדרישתו של הריסון הייתה שגויה, ושהממשלה הצ'יליאנית טיפלה בעניין כמו בכל נושא פלילי אחר. המתיחות עלתה כשהריסון איים לנתק את היחסים עם צ'ילה, אלא אם ארצות הברית תקבל התנצלות. בליין חזר לבירה וניסה לפייס את הממשלה הצ'יליאנית, והציע לקרוא לשגריר אל ארצות הברית ולקיים בוררות בנושא. הריסון המשיך להתעקש על התנצלות ואף הודיע לקונגרס שבכוונתו לפתוח במלחמה. צ'ילה התנצלה בנוגע לעניין, והאיום ירד מהפרק.
יחסים עם מעצמות אירופאיות.