Agrippas vennskap med Augustus synes å ha blitt overskygget av sjalusien til Augustus’ nevø Marcus Claudius Marcellus, som antagelig var fremmet av intrigene til Livia, Augustus’ tredje ektefelle, som fryktet Agrippas innflytelse på hennes ektefelle. Tradisjonelt er det blitt sagt at resultatet av denne sjalusien var at Agrippa forlot Roma, formelt for å bli guvernør av de østlige provinsene – en form for ærefullt eksil, men han sendte kun sin legatus til Syria mens han selv oppholdt seg på den greske øya Lesbos og styrte ved stedfortreder, skjønt det er mulig at han var på en hemmelig reise for å forhandle med partierne om tilbakeleveringen av kampfanene til romerske legioner som de hadde. Da Marcellus døde, noe som skjedde innenfor et år av hans frivillige landflyktighet, ble han tilbakekalt til Roma av Augustus, som hadde oppdaget at han ikke kunne unnvære hans tjenester. Imidlertid, om man plasserer hendelsene i sammenheng med krisen i 23 f.Kr., kan det synes usannsynlig at Augustus ville ha plassert en mann i landflyktighet med ansvar for den største delen av hæren mens han selv sto overfor en betydelig opposisjon og i ferd med å ta et betydelig politiske skritt ned.