I 1967 ble han etter to år i hærledelsen utnevnt til nestkommanderende under William Westmoreland for de amerikanske styrkene i Vietnam. Etter Tet-offensiven i 1968 overtok Abrams kommandoen. Han endret den amerikanske taktikken til aggressiv patruljevirksomhet med små enheter. Tanken var at dette skulle lette overføringen av ansvaret Sør-Vietnams hær. President Lyndon Johnson hadde på dette tidspunktet besluttet å redusere det amerikanske militære nærværet, og under Abrams ble dette redusert fra 535 000 soldater i desember 1968 til 30 000 soldater mot slutten av 1972. Abrams støttet intervensjonen av Kambodsja i 1970 og sto for planleggingen av angrepet mot Ho Chi Minh-stien i det sørlige Laos (). Han ble også nødt til å håndtere problemene som fulgte av My Lai-massakren som ble utført før han tiltrådte kommandoen.