Han var sønn av Hamilkar Barca, en av de ledende kartagiske hærførerne under første punerkrig. Hannibals yngre brødre var Mago og Hasdrubal, og han var svoger med Hasdrubal den rettferdige, som var guvernør i Iberia etter Hamilcars død. Hasdrubal ble myrdet i 221 f.Kr. av en av slavene eller leiesoldatene til den keltiske kongen Tagus, som hevn for drapet på Tagus. Hannibal tok da svogerens plass som guvernør.