Fue hijo de Marco Asinio Agripa, que fue cónsul en 25 y murió en 27 (o en el 26) y al que describe Tácito como "digno de sus ancestros".