במרץ הגיעו העניינים לשיאם. בבחירות הביניים במזרח-סידני נבחר אדי וורד כמועמד מטעם מחנהו של לאנג ועל רקע זה חל פילוג בין מפלגת הלייבור לבין הסניף בניו סאות' ויילס. סקאלין ואנשי המפלגה הארצית סירבו לאפשר לוורד להיות חלק מסיעת המפלגה בפרלמנט וכתוצאה מכך, קבוצה של חמישה חברים בהנהגתו של ג'ק' ביזלי חצתה את הקווים והגדירה את עצמה כסיעה נפרדת שנקראה "הלייבור של לאנג" (Lang Labor). על רקע התוהו ובוהו שהתחולל במפלגה ועל רקע המחלוקת החריפה בנוגע לטיפול במשבר הכלכלי, הגישה האופוזיציה הצעת אי-אמון. ליונס, פנטון וארבעה חברים אחרים מהאגף השמרני של הלייבור פרשו מהמפלגה ועברו גם הם לאופוזיציה. בשלב זה הייתה ממשלתו של סקאלין ממשלת מיעוט שנשענה על תמיכה של 35 חברים, התלויה בחסדיו של לאנג כדי להישאר בשלטון. בעקבות התמיכה שלהם בציבור, ליונס ותומכיו, חברי הלייבור לשעבר, הצטרפו לחברי המפלגה הלאומנית לשעבר במסגרת מפלגת אוסטרליה המאוחדת, כשליונס נהייה מנהיג האופוזיציה החדש. מתוך ידיעה כי ביוני לא תוכל אוסטרליה לפרוע את חובותיה, ניסתה ממשלת המיעוט של סקאלין להוציא לפועל את תוכנית תאודור. למרות האפשרות שהמדינה תעמוד בפני פשיטת רגל, לא נענו גיבסון והסנאט להפצרות, וכמעט כל הצעות החוק ליישום תוכנית תאודור נדחו. דעת הקהל הלאומית הייתה חלוקה בנוגע לתוכנית הממשלה, אך רבים היו מודאגים באופן מיוחד אם לנוכח הסיכון לאינפלציה האם על הממשלה להדפיס כספים כדי לשלם את חובותיה.
נפילת הממשלה.
במאי, כאשר שיעור האבטלה הגיע ל-27.6%, כינס סקאלין שוב את ראשי הממשלה של המדינות כדי לנסות ולגבש הסדר חדש מתוך ידיעה שפשרה עם האופוזיציה בלתי נמנעת אם כל תוכנית אחרת תיכשל. תוכנית שמרנית חדשה, שעל פיה יקוצצו 20% מההוצאה של כל ממשלות המדינות, במיוחד תקציבי הרווחה, הגיעה למבוי סתום. בנוסף למהלך להפחתת הריבית המשולמת על איגרות החוב הממשלתיות ב-22.5%, היה באוסטרליה קונצנזוס על צמצום הגרעון השנתי מ-41.08 מיליון ליש"ט ל-14.65 ליש"ט. למרות שבסופו של דבר הצליח סקאלין להשיג תמיכה לתוכניתו במדינות ובפרלמנט, הוא התמודד כעת עם התמרדות במפלגתו שלו. הקיצוצים בקצבאות הזקנה ובקצבאות הרווחה היו קשים במיוחד עבור סקאלין ורבים מהתומכים המרכזיים של הלייבור חשו נבגדים על ידי הפשרות הללו שנעשו על חשבונן של הקבוצות החלשות ביותר בחברה. סקאלין הגן בלהט על תוכניתו, אך השפעתו של לאנג כמנהיג חלופי למפלגה החלו להתגבר כאשר סניפי המפלגה בוויקטוריה ובאוסטרליה הדרומית, מרדו כנגד תוכנית ראשי הממשלות.
טראומטי ככל שזה יהיה, יישמה לבסוף הממשלה תוכנית כלכלית והמצב החל להשתפר. האמון מבית והאמון משוק האשראי הבריטי החלו להשתקם והאפשרות של אי תשלום החוב נמנעה. בציבור הייתה הצלחה למסע להנפקת איגרות חוב ממשלתיות בריבית נמוכה, מחירי הצמר והחיטה החלו לעלות ובאוקטובר החל מצבן הפיננסי של הממשלה הפדרלית וממשלות המדינות להיות תחת שליטה. אך כששיעור האבטלה עדיין המשיך לעלות, עדיין היה סקאלין צריך להתמודד עם מפח נפש של רבים במפלגתו. לאנג חש מאוים לנוכח ההצלחה לכאורה של תוכנית ראשי הממשלות וחידוש הדיונים על איחוד מחדש בין הפלגים בלייבור, התקיים במקביל להשתפרות המצב הכלכלי. בנובמבר נאלצה סיעת הלייבור של לאנג להתעמת עם ממשלתו של סקאלין. לנוכח ההאשמות שתאודור עשה שימוש לרעה בתפקידו כשר האוצר כדי להשיג תמיכה בניו סאות' ויילס, קראו ביזלי ותומכיו להקים ועדת חקירה מלכותית שתחקור את ההאשמות. סקאלין סירב לדרישות אלה ולהפתעת רבים, חצו ביזלי ותומכיו את הקווים ועברו לאופוזיציה, ובכך גרמו לתבוסתה של הממשלה. בחירות בזק נקבעו לדצמבר 1931. מערכת בחירות זו הייתה אחת הקצרות בהיסטוריה של אוסטרליה, אך עם עימות גלוי בין תומכי לאנג לבין תומכי סקאלין בוויקטוריה ובניו סאות' ויילס, וכשרובה של אוסטרליה נמצא עדיין תחת מצוקה כלכלית וממורמר על הממשלה, תבוסתה של הלייבור הייתה מובטחת. המפלגה נחלה מפלה מוחצת בבחירות. כוחה של מפלגת הלייבור הרשמית ירד ל-14 מושבים בלבד, סיעתו של לנג הגדילה את כוחה ב-4 מושבים וג'וזף ליונס נבחר להיות ראש הממשלה. עם זאת, סקאלין לא נתפש כאחראי לכישלון והמשיך לכהן כמנהיג הלייבור. נכון להיום, הייתה זו הפעם האחרונה בה ממשלה אוסטרלית מכהנת הופלה לאחר קדנציה אחת.
קריירה מאוחרת.
המשימה הכבדה של הנהגת האומה בתקופת המשבר הכלכלי והמתקפות שספג מאויביו הרבים ומידידיו המועטים, השאירו חותם כבד על אישיותו של סקאלין. כפי שאמר אחד מחברי הפרלמנט של מפלגת הכפר: "הנטל הכבד שהיה על כתפיו אז כמעט וגרם למותו". סקאלין זכה לשבחים רבים על תפקודו כמנהיג האופוזיציה. התמצאותו בבעיות הכלכלה והסחר הייתה עדיין ראויה לציון ובכמה הזדמנויות הוא הצליח לאלץ את הממשלה לשנות את מדיניותה או לשלב כוחות עם מפלגת הכפר כדי לכפות שינויים בחקיקה הממשלתית. אף על פי כן, הוא כשל במהלכים לאחד מחדש את המפלגה ולמנוע מלאנג להוות חלופה מנהיגותית לקראת הבחירות של 1934. בסופו של דבר, יישומה של "תוכנית ראשי הממשלה" על ידי סקאלין ותומכיו, נתפסה כבגידה בערכי מפלגת הלייבור וההתנגדות למחנותיהם של סקאלין ושל לאנג בקרב המפלגה המשיכה להשפיע על המדיניות של ממשלות ניו סאות' ויילס וויקטוריה עוד במשך שנים. התבוסה בבחירות של 1934 הייתה לייאוש מבחינתו של סקאלין. למרות תקופה חיובית מבחינתו כמנהיג האופוזיציה, זכתה המפלגה בארבעה מושבים נוספים בפרלמנט בבחירות אלה.
לאחר הבחירות החל סקאלין לחוש עייף והוא לקח חלק שולי בהדברות בין מפלגות האופוזיציה. בהזדמנויות רבות הוא ציין שהוא נחוש בדעתו להישאר כמנהיג המפלגה עד אשר הוא יהיה בטוח שמישהו מאנשי לאנג לא יירש אותו בתפקידו, אך רצה הגורל ובריאותו של סקאלין, שתמיד הייתה במצב בינוני, החלה להתדרדר באופן משמעותי ב-1935. לאחר שהיה מרותק למיטת חוליו כמה פעמים, הוא הגיש את התפטרותו מתפקיד מנהיג המפלגה ב-23 בספטמבר 1935. בנקודת זמן זו התאוששה כבר כלכלת אוסטרליה באופן משמעותי והאמון של המערכת העסקית חזר. הצעדים התוקפניים של סין ביפן ושל גרמניה באירופה, החלו להוות נושאים בעלי עדיפות גבוהה יותר בפוליטיקה האוסטרלית. ג'ון קרטין הוכיח את עצמו כמי שיכול לרפאות את פצעיה של מפלגת הלייבור ותחת מנהיגותו רבים מחברי סיעתו של לאנג שבו למפלגה, למרות שלאנג עצמו ותומכיו הקרובים ביותר המשיכו להתעקש להיות מחוץ למפלגה. במהלך שנים אלה ישב סקאלין על הספסלים האחוריים של הפרלמנט ולא התבלט במיוחד.
עם בחירתו כראש שממשלה ב-1941, סמך ג'ון קרטין את ידיו במידה רבה על סקאלין כיועצו. סקאלין לא קיבל על עצמו שום תיק בממשלה ולא לקח חלק בדיונים האסטרטגיים במהלך המלחמה, אלא אם כן הייתה לכך השלכה כלכלית. סקאלין שהיה אחד הדוברים הראשיים של המפלגה, תמך בראש הממשלה והאיץ בחברי המפלגה לאפשר לקרטין למלא את תפקידו ללא הפרעות, תופעה שממנה סבל רבות בעת שכיהן בתפקיד. לאושרו של סקאלין, הצעות חוק רבות בתחומים החברתיים והכלכליים, שלא התאפשר לו להעבירם כחוקים בתקופת כהונתו, קודמו באופן משמעותי בתקופת המלחמה. הוא היה חבר באחת הוועדות שמונו להגיש המלצות על יישום של מיסוי אחיד. ועדה זו הציעה להעביר מידיהן של המדינות את גביית מס ההכנסה, הצעה שהתקבלה על ידי קרטין ויושמה על ידי ממשלתו.
בריאותו הרופפת של סקאלין המשיכה להעסיק אותו, אך הוא המשיך להיות פעיל בפרלמנט, אם כי באופן מתון, לאחר מותו של קרטין ב-1945 ולאחר שבן צ'יפלי ירש אותו בתפקידו. הוא המשיך להיות דמות משפיעה בתחומי הכספים והמיסוי. עם זאת בריאותו המשיכה להתדרדר באופן משמעותי ב-1947 ולאחר חודש יוני באותה שנה הוא כבר לא הופיע בפרלמנט והכריז כי יפרוש לקראת הבחירות של 1949.
סקאלין היה מרותק למיטתו לעיתים קרובות בשנה וחצי האחרונה לחייו ולא היה מסוגל כמעט להופיע בציבור. מצבו החמיר עוד לאחר פרישתו, כשב-1951 הוא סבל מאי-ספיקת כליות והיה מרותק באופן קבוע למיטתו ומטופל על ידי אשתו. ג'יימס סקאלין מת בשנתו ב-28 בינואר 1953 במלבורן, כתוצאה מסיבוכים של בצקת ריאות. הלווייתו הממלכתית התקיימה בקתדרלת סנט פטריק שבמלבורן והוא נקבר בבית הקברות הראשי של מלבורן. המצבה על קברו הוקמה על ידי הנהגת מפלגת הלייבור ועל ידי מועצת האיגודים המקצועיים של אוסטרליה.
מורשתו והנצחתו.