עם כניסת הנשיא ג'ון פ. קנדי לתפקידו בינואר 1961 ירדה קרנו של דאלס. הנשיא אישר את הפלישה הכושלת למפרץ החזירים בניסיון להפיל את משטרו של פידל קסטרו בקובה, אך בשלב קריטי, בו היה ברור כי רק בסיוע של חיילי צבא ארצות הברית ניתן יהיה להצליח בפלישה (שהתבססה על גולים קובנים שאומנו וחומשו על ידי ה-CIA), הורה הנשיא על ניתוק מגע, והפלישה כשלה. דאלס לקח על עצמו את האחריות, אם כי יש להניח כי סבר שקנדי הוא האשם האמיתי בכישלון הפלישה. לאחר מכן נעכרו יחסי השניים ללא תקנה. קנדי לא ראה בעין יפה את נסיונותיו לשלב את המאפיה בתוכניות לרצח קסטרו, אשר כשלו מבחינה מבצעית בזו אחר זו. המשטרים שיצר דאלס בגואטמלה ובאיראן נראו עתה אמנם פרו מערביים, אך מושחתים ואכזריים. יש המייחסים את שורשי יחסה השלילי של ממשלת איראן כיום לארצות הברית, בהתערבות זו בענייניה הפנימיים של איראן בהפלת משטר מוסאדק, והחזרת משטרו המושחת של השאח מוחמד ריזה פהלווי. דאלס הבין כי חופש הפעולה שנתן לו אייזנהאואר אינו עוד, והגיש לנשיא את התפטרותו בחודש ספטמבר 1961.