Etter at Barak tapte valget i 2001, ble han i stedet utnevnt til viseutenriksminister for diaspora-anliggender under Shimon Peres, men mistet denne stillingen da Arbeiderpartiet trakk seg fra regjeringen i november 2002. Han ble gjenvalgt til Knesset i 2003.