קרטר קיווה להקל על היחסים עם מדינות אמריקה הלטינית, והצליח להגיע להסכמים שקבעו שפנמה תקבל את השליטה על אזור תעלת פנמה ב-1999. הציבור האמריקני, בעיקר השמרנים, התנגד לכך, וטען שקרטר מוותר על "נכס אסטרטגי". שמרנים ניסו להכשיל את ההסכם, וקרטר הטיל את כל כובד משקלו, כשהוא משיג מעט יותר מהרוב של שני השלישים הדרושים כדי לאשרר את ההסכם.