בתקופה זו החל לינץ' לאבד את אחיזתו במפלגה, הכלכלה צלעה לאחר ההתאוששות ממשבר האנרגיה העולמי ובמפלגה החלה חתירה תחת מנהיגותו של לינץ'. בנוסף, התארגנה קבוצה של חברי המפלגה יושבי הספסלים האחוריים לארגן תמיכה בהוהי. קבוצה זו, שכונתה "כנופיית החמישה" (gang of five), כללה בין השאר את אלברט ריינולדס שלימים היה ראש הממשלה לאחר התפטרותו הסופית של הוהי. כמו כן קיבל הוהי תמיכה מחברת הפרלמנט סיל דה ואלירה, נכדתו של מייסד המפלגה, שהייתה ביקורתית מאוד כלפי לינץ' בנוגע למדיניותו בשאלת צפון אירלנד. בנאום שנשאה בטקס לזכרו של ליאם לינץ' (בכיר בצבא האירי הרפובליקני שנהרג במלחמת האזרחים האירית) ב-9 בספטמבר, היא תקפה את ראש הממשלה. אף על פי שלינץ' עדיין ניסה לכפות משמעת מפלגתית, הבהירה לו דה ואלירה שהיא לא מתנגדת למדיניות המפלגה שעל פיה על בריטניה לסגת מהצפון. לינץ' יצא לביקור בארצות הברית ב-7 בנובמבר. באותו יום איבדה הממשלה שני מושבים בפרלמנט במסגרת בחירות ביניים בקורק. במהלך הביקור הצהיר לינץ' בריאיון לוושינגטון פוסט כי בדיונים עם ראש ממשלת בריטניה, מרגרט תאצ'ר, הוסכם על קיומו של מסדרון אווירי של חמישה ק"מ על הגבול. הודעה זו הרתיחה את דמם של רבים בפיאנה פול. עם שובו מארצות הברית נשאל על כך לינץ' בפגישת הסיעה בפרלמנט. לינץ' השיב שלא היה מדובר על כך שהמטוסים הבריטיים יחצו את הגבול. הפרטים מהפגישה הודלפו לתקשורת ולינץ' הואשם בהטעיית המפלגה. מעמדו של לינץ' במפלגה החל להיות רעוע.