ג'יימס סקאלין
קריירה מאוחרת

המשימה הכבדה של הנהגת האומה בתקופת המשבר הכלכלי והמתקפות שספג מאויביו הרבים ומידידיו המועטים, השאירו חותם כבד על אישיותו של סקאלין. כפי שאמר אחד מחברי הפרלמנט של מפלגת הכפר: "הנטל הכבד שהיה על כתפיו אז כמעט וגרם למותו". סקאלין זכה לשבחים רבים על תפקודו כמנהיג האופוזיציה. התמצאותו בבעיות הכלכלה והסחר הייתה עדיין ראויה לציון ובכמה הזדמנויות הוא הצליח לאלץ את הממשלה לשנות את מדיניותה או לשלב כוחות עם מפלגת הכפר כדי לכפות שינויים בחקיקה הממשלתית. אף על פי כן, הוא כשל במהלכים לאחד מחדש את המפלגה ולמנוע מלאנג להוות חלופה מנהיגותית לקראת הבחירות של 1934. בסופו של דבר, יישומה של "תוכנית ראשי הממשלה" על ידי סקאלין ותומכיו, נתפסה כבגידה בערכי מפלגת הלייבור וההתנגדות למחנותיהם של סקאלין ושל לאנג בקרב המפלגה המשיכה להשפיע על המדיניות של ממשלות ניו סאות' ויילס וויקטוריה עוד במשך שנים. התבוסה בבחירות של 1934 הייתה לייאוש מבחינתו של סקאלין. למרות תקופה חיובית מבחינתו כמנהיג האופוזיציה, זכתה המפלגה בארבעה מושבים נוספים בפרלמנט בבחירות אלה.
לאחר הבחירות החל סקאלין לחוש עייף והוא לקח חלק שולי בהדברות בין מפלגות האופוזיציה. בהזדמנויות רבות הוא ציין שהוא נחוש בדעתו להישאר כמנהיג המפלגה עד אשר הוא יהיה בטוח שמישהו מאנשי לאנג לא יירש אותו בתפקידו, אך רצה הגורל ובריאותו של סקאלין, שתמיד הייתה במצב בינוני, החלה להתדרדר באופן משמעותי ב-1935. לאחר שהיה מרותק למיטת חוליו כמה פעמים, הוא הגיש את התפטרותו מתפקיד מנהיג המפלגה ב-23 בספטמבר 1935. בנקודת זמן זו התאוששה כבר כלכלת אוסטרליה באופן משמעותי והאמון של המערכת העסקית חזר. הצעדים התוקפניים של סין ביפן ושל גרמניה באירופה, החלו להוות נושאים בעלי עדיפות גבוהה יותר בפוליטיקה האוסטרלית. ג'ון קרטין הוכיח את עצמו כמי שיכול לרפאות את פצעיה של מפלגת הלייבור ותחת מנהיגותו רבים מחברי סיעתו של לאנג שבו למפלגה, למרות שלאנג עצמו ותומכיו הקרובים ביותר המשיכו להתעקש להיות מחוץ למפלגה. במהלך שנים אלה ישב סקאלין על הספסלים האחוריים של הפרלמנט ולא התבלט במיוחד.
עם בחירתו כראש שממשלה ב-1941, סמך ג'ון קרטין את ידיו במידה רבה על סקאלין כיועצו. סקאלין לא קיבל על עצמו שום תיק בממשלה ולא לקח חלק בדיונים האסטרטגיים במהלך המלחמה, אלא אם כן הייתה לכך השלכה כלכלית. סקאלין שהיה אחד הדוברים הראשיים של המפלגה, תמך בראש הממשלה והאיץ בחברי המפלגה לאפשר לקרטין למלא את תפקידו ללא הפרעות, תופעה שממנה סבל רבות בעת שכיהן בתפקיד. לאושרו של סקאלין, הצעות חוק רבות בתחומים החברתיים והכלכליים, שלא התאפשר לו להעבירם כחוקים בתקופת כהונתו, קודמו באופן משמעותי בתקופת המלחמה. הוא היה חבר באחת הוועדות שמונו להגיש המלצות על יישום של מיסוי אחיד. ועדה זו הציעה להעביר מידיהן של המדינות את גביית מס ההכנסה, הצעה שהתקבלה על ידי קרטין ויושמה על ידי ממשלתו.
בריאותו הרופפת של סקאלין המשיכה להעסיק אותו, אך הוא המשיך להיות פעיל בפרלמנט, אם כי באופן מתון, לאחר מותו של קרטין ב-1945 ולאחר שבן צ'יפלי ירש אותו בתפקידו. הוא המשיך להיות דמות משפיעה בתחומי הכספים והמיסוי. עם זאת בריאותו המשיכה להתדרדר באופן משמעותי ב-1947 ולאחר חודש יוני באותה שנה הוא כבר לא הופיע בפרלמנט והכריז כי יפרוש לקראת הבחירות של 1949.
סקאלין היה מרותק למיטתו לעיתים קרובות בשנה וחצי האחרונה לחייו ולא היה מסוגל כמעט להופיע בציבור. מצבו החמיר עוד לאחר פרישתו, כשב-1951 הוא סבל מאי-ספיקת כליות והיה מרותק באופן קבוע למיטתו ומטופל על ידי אשתו. ג'יימס סקאלין מת בשנתו ב-28 בינואר 1953 במלבורן, כתוצאה מסיבוכים של בצקת ריאות. הלווייתו הממלכתית התקיימה בקתדרלת סנט פטריק שבמלבורן והוא נקבר בבית הקברות הראשי של מלבורן. המצבה על קברו הוקמה על ידי הנהגת מפלגת הלייבור ועל ידי מועצת האיגודים המקצועיים של אוסטרליה.