É possível que seu pai tenha sido Lúcio Vipsânio Agripa. Ele tinha um irmão mais velho, também chamado Lúcio Vipsânio Agripa, e uma irmã, Vipsânia Pola. A família não tinha nenhuma proeminência na vida pública romana até sua ascensão. Porém, Agripa tinha mais ou menos a mesma idade de Otaviano e os dois foram educados juntos, tornando-se grandes amigos. Apesar da associação de Agripa com a família de Júlio César, seu irmão mais velho escolheu o lado adversário na guerra civil da década de 40 a.C., lutando com Catão, o Jovem, contra César na Batalha de Tapso, na África Velha. Quando as forças de Catão foram derrotadas, o irmão de Agripa foi preso e libertado depois que Otaviano intercedeu por ele.