Agrippa ble født en gang mellom 64–62 f.Kr. på et ukjent sted, antagelig på landsbygden utenfor Roma, i en velstående familie innen lavadelen equites («ryttere», de som stilte med kavaleri i hæren). Hans familienavn, , var den latinske formen av det greske Agrippas i betydning «villhest». Hans far var kanskje Lucius Vipsanius Agrippa. Han hadde en eldre bror som også het Lucius Vipsanius Agrippa, og en søster ved navn Vipsania Polla. Familien hadde ikke vært framstående eller aktiv i det sosiale livet i Roma, men imidlertid var Agrippa på samme alder som Octavianus (den framtidige enehersker Augustus), og de to ble utdannet sammen og ble nære venner. Til tross for familiens nære tilknytning til Julius Cæsar, valgte hans eldre bror den andre siden i borgerkrigene på 40-tallet f.Kr. Og kjempet under Cato mot Cæsar i provinsen Africa. Da Catos styrker ble beseiret ble Agrippas bror tatt til fange, men sluppet fri da Octavianus meklet på hans vegne.