עם בחירתו של ג'ימי קרטר מונה למזכיר המדינה. במסגרת זו ניהל את המשא ומתן עם פנמה אודות השלטון באזור התעלה ונחתמו הסכמי קרטר-טוריחוס להעברת השליטה לידי פנמה. הוא השתתף בשיחות קמפ דייוויד בין ישראל למצרים שהובילו להסכמי קמפ דייוויד ולאחר מכן להסכם השלום בין ישראל למצרים (מנחם בגין ואנואר סאדאת קיבלו על כך פרס נובל לשלום). ביחס לברית המועצות הוא נחשב ליוני יחסית ליועץ לביטחון לאומי זביגנייב בז'ז'ינסקי. הוא השתתף בעיצוב הסכמי סאל"ט-2 עם ברית המועצות להגבלת נשק. גם בענייני איראן והיחס למהפכה האיראנית היו חילוקי דעות בינו לבז'ז'ינסקי: כשהחלו ההפגנות ב-1978 ואנס יעץ לשליט המדינה מוחמד רזא שאה פהלווי לנהל משא ומתן ולערוך רפורמות בעוד בז'ז'ינסקי תמך בדיכוי ביד קשה. ואנס התפטר לאחר הפעולה הכושלת לשחרור בני הערובה האמריקנים באיראן לה התנגד (ואפילו מודר מההחלטה לצאת לפעולה).