Etter Camp David-avtalen avtok Vances innflytelse, mens Brzezinski fikk sterkere gjennomslag med sin strategi styrke dissidenter og den polske fagforeningsbevegelse Solidarność, noe som bidro til at Sovjetunionen til slutt brøt sammen. Under samtalene med Folkerepublikken Kina ble Vance marginalisert av sine egne, og de råd han gav om amerikanernes reaksjon på den iranske shah Mohammad Reza Pahlavis fall, ble ignorert. Da det etter den islamske revolusjon ble tatt til fange 52 amerikanske diplomater i Teheran, gikk han heftig inn for forhandslinger, men nådde ikke frem med det. Carter forsøkte en hemmelig militær redningsaksjon (Operation Eagle Claw); den slo feil den 24. april 1980. Fire dager etter trådte Vance tilbake.