Su padre pudo haberse llamado Lucio Vipsanio Agripa, y tuvo un hermano mayor cuyo nombre fue también Lucio Vipsanio Agripa y una hermana llamada Vipsania Pola.