Del lado de su padre, descendía de una familia poco esclarecida de la que apenas ha quedado registro, y su abuelo paterno se llamó Lucio por la filiación de Agripa, homónimo del hermano de este.